Web からのフラットファイルのインポート

Pythonによるデータインポート中級

Hugo Bowne-Anderson

Data Scientist at DataCamp

インポートはお手のもの！

  • フラットファイル（.txtや.csvなど）

  • Pickleファイル、Excelスプレッドシートなど

  • リレーショナルデータベースからのデータ

  • すべてローカルで実行可能

  • データがオンラインにある場合は？

Pythonによるデータインポート中級

Web データをインポートするには？

ch_1_1.010.png

  • URL に移動してファイルをダウンロード可能
  • ただし、再現性と拡張性がない
Pythonによるデータインポート中級

これから学ぶ内容

  • ウェブからデータセットをインポートしてローカルに保存する

  • pandas DataFrame にデータセットを読み込む

  • HTTPリクエストを行う（GETリクエスト）

  • HTMLなどのWebデータをスクレイピングする

  • HTMLを有用なデータに解析する（BeautifulSoup）

  • urllib と requests パッケージを使用する

Pythonによるデータインポート中級

urllib パッケージ

  • Web 全体からデータを取得するためのインターフェースの提供
  • urlopen() - ファイル名の代わりにURL
Pythonによるデータインポート中級

Pythonでファイルのダウンロードを自動化する方法

from urllib.request import urlretrieve
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/
winequality-white.csv'
urlretrieve(url, 'winequality-white.csv')

('winequality-white.csv', <http.client.HTTPMessage at 0x103cf1128>)
Pythonによるデータインポート中級

練習しましょう！

Pythonによるデータインポート中級

Preparing Video For Download...