Importowanie plików płaskich z sieci

Importowanie danych w Pythonie – poziom średniozaawansowany

Hugo Bowne-Anderson

Data Scientist at DataCamp

Importowanie? Już to potrafisz!

  • Pliki płaskie, takie jak .txt i .csv

  • Pliki Pickle, arkusze Excel i wiele innych!

  • Dane z relacyjnych baz danych

  • Wszystko to można robić lokalnie

  • Co jeśli dane są dostępne online?

Importowanie danych w Pythonie – poziom średniozaawansowany

Czy można importować dane z sieci?

ch_1_1.010.png

  • Można: przejść do URL i kliknąć, aby pobrać plik
  • ALE: niepowtarzalne i trudne do skalowania
Importowanie danych w Pythonie – poziom średniozaawansowany

Czego się nauczysz…

  • Importowanie i lokalne zapisywanie zbiorów danych z sieci

  • Wczytywanie zbiorów danych do ramek danych pandas

  • Wysyłanie żądań HTTP (żądania GET)

  • Pobieranie danych ze stron, np. HTML

  • Parsowanie HTML na użyteczne dane (BeautifulSoup)

  • Używanie pakietów urllib i requests

Importowanie danych w Pythonie – poziom średniozaawansowany

Pakiet urllib

  • Udostępnia interfejs do pobierania danych z sieci
  • urlopen() – przyjmuje adresy URL zamiast nazw plików
Importowanie danych w Pythonie – poziom średniozaawansowany

Jak zautomatyzować pobieranie plików w Pythonie

from urllib.request import urlretrieve
url = 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/
winequality-white.csv'
urlretrieve(url, 'winequality-white.csv')

('winequality-white.csv', <http.client.HTTPMessage at 0x103cf1128>)
Importowanie danych w Pythonie – poziom średniozaawansowany

Czas na ćwiczenia!

Importowanie danych w Pythonie – poziom średniozaawansowany

Preparing Video For Download...