Імпорт плоских файлів із вебу

Середній рівень імпортування даних у Python

Hugo Bowne-Anderson

Data Scientist at DataCamp

Ви вже вмієте імпортувати!

  • Плоскі файли, як-от .txt і .csv

  • Pickle-файли, Excel-таблиці та інші!

  • Дані з реляційних баз даних

  • Усе це можна робити локально

  • А якщо ваші дані онлайн?

Середній рівень імпортування даних у Python

Чи можете ви імпортувати дані з вебу?

ch_1_1.010.png

  • Ви можете: перейти за URL і клікнути, щоб завантажити файли
  • АЛЕ: це не відтворювано і не масштабується
Середній рівень імпортування даних у Python

Ви навчитеся…

  • Імпортувати та локально зберігати набори даних із вебу

  • Завантажувати їх у датафрейми pandas

  • Виконувати HTTP-запити (GET)

  • Скрейпити вебдані, зокрема HTML

  • Парсити HTML у корисні дані (BeautifulSoup)

  • Використовувати пакети urllib і requests

Середній рівень імпортування даних у Python

Пакет urllib

  • Надає інтерфейс для отримання даних з вебу
  • urlopen() — приймає URL замість назв файлів
Середній рівень імпортування даних у Python

Як автоматизувати завантаження файлів у Python

from urllib.request import urlretrieve
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/
winequality-white.csv'
urlretrieve(url, 'winequality-white.csv')

('winequality-white.csv', <http.client.HTTPMessage at 0x103cf1128>)
Середній рівень імпортування даних у Python

Давайте потренуємось!

Середній рівень імпортування даних у Python

Preparing Video For Download...