从网页导入平面文件

Python 数据导入进阶

Hugo Bowne-Anderson

Data Scientist at DataCamp

您已很会导入数据！

  • 平面文件，如 .txt 和 .csv

  • Pickle 文件、Excel 表和更多！

  • 关系型数据库中的数据

  • 以上都可在本地完成

  • 如果数据在网上呢？

Python 数据导入进阶

能导入网页数据吗？

ch_1_1.010.png

  • 您可以：访问 URL 并点击下载文件
  • 但：不可复现，难以扩展
Python 数据导入进阶

您将学到…

  • 从网页导入并本地保存数据集

  • 将数据集加载为 pandas DataFrame

  • 发起 HTTP 请求（GET）

  • 抓取网页数据，如 HTML

  • 解析 HTML 为可用数据（BeautifulSoup）

  • 使用 urllib 与 requests 包

Python 数据导入进阶

urllib 包

  • 提供跨网页获取数据的接口
  • urlopen()：接受 URL 而非文件名
Python 数据导入进阶

如何在 Python 中自动下载文件

from urllib.request import urlretrieve
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/
winequality-white.csv'
urlretrieve(url, 'winequality-white.csv')

('winequality-white.csv', <http.client.HTTPMessage at 0x103cf1128>)
Python 数据导入进阶

Passons à la pratique !

Python 数据导入进阶

Preparing Video For Download...