Pythonでスクレイピングはじめました。

2018年4月5日

Pythonでスクレイピングはじめました。

先日とある記事を読んで、色々としてみたくなったのでスクレイピングに挑戦します。


その記事によると

SeleniumとPandas(pythonのライブラリとおもう）の知識がいるとのことなので、そのインストールから始めたいと思います。
その前提としてAnacondaをインストール済みで、最新の状態にしています。(2018.04.02)

Seleniumのインストール

まずはseleniumのインストールですが、pipで簡単にインストールできました。

$ pip install selenium
Collecting selenium
  Downloading selenium-3.11.0-py2.py3-none-any.whl (943kB)
    100% |████████████████████████████████| 952kB 1.1MB/s
Installing collected packages: selenium
Successfully installed selenium-3.11.0

<p>次はChromeDriverインストール</p>

<p>~~~
$ brew install chromedriver

僕の環境ではこの前にbrew upgradeする必要があった。

で参考ページにあるpythonのプログラムで自動で動作させる

coding:utf-8

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from time import sleep

ブラウザを開く。

driver = webdriver.Chrome()

Googleの検索TOP画面を開く。

driver.get(“https://www.google.co.jp/")

検索語として「selenium」と入力し、Enterキーを押す。

driver.findelementbyid(“lst-ib").sendkeys(“selenium")
driver.findelementbyid(“lst-ib").sendkeys(Keys.ENTER)

タイトルに「Selenium – Web Browser Automation」が含まれるリンクをクリックする。

driver.findelementbylinktext(“Selenium – Web Browser Automation").click()

5秒間待機してみる。

sleep(5)

ブラウザを終了する。

driver.close()

~~~
こんなやつ。

参考：https://qiita.com/chachamalu/items/7b6f2a95ea45667e1029

このあと、AKB48と乃木坂46の名前をスクレイピングしたいです。(^^)


未分類

Posted by tacky2k