Импорт плоских файлов из интернета

Импорт данных в Python: средний уровень

Hugo Bowne-Anderson

Data Scientist at DataCamp

Вы уже умеете импортировать данные!

  • Плоские файлы: .txt и .csv

  • Pickle-файлы, Excel-таблицы и многое другое!

  • Данные из реляционных баз данных

  • Всё это можно делать локально

  • А если данные находятся в интернете?

Импорт данных в Python: средний уровень

Можно ли импортировать данные из интернета?

ch_1_1.010.png

  • Можно: перейти по URL и скачать файл вручную
  • Но: это не воспроизводимо и не масштабируемо
Импорт данных в Python: средний уровень

Что вы научитесь делать…

  • Импортировать и сохранять локально наборы данных из интернета

  • Загружать данные в DataFrame pandas

  • Выполнять HTTP-запросы (GET-запросы)

  • Извлекать веб-данные, например HTML

  • Разбирать HTML в удобный формат (BeautifulSoup)

  • Использовать пакеты urllib и requests

Импорт данных в Python: средний уровень

Пакет urllib

  • Предоставляет интерфейс для получения данных из интернета
  • urlopen() — принимает URL вместо имён файлов
Импорт данных в Python: средний уровень

Автоматическое скачивание файлов в Python

from urllib.request import urlretrieve
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/
winequality-white.csv'
urlretrieve(url, 'winequality-white.csv')

('winequality-white.csv', <http.client.HTTPMessage at 0x103cf1128>)
Импорт данных в Python: средний уровень

Давайте потренируемся!

Импорт данных в Python: средний уровень

Preparing Video For Download...