Web Scraping v Pythonu

Web Scraping v Pythonu

Thomas Laetsch

Data Scientist, NYU

Obchodní přínos

Co firmy hledají?

  • Srovnávání cen
  • Spokojenost zákazníků
  • Generování potenciálních kontaktů
  • ...a mnoho dalšího!
Web Scraping v Pythonu

Osobní využití

Co lze dělat?

  • Hledat oblíbené memy na oblíbených webech.
  • Automaticky procházet inzeráty za vysněnými gadgety.
  • Scrapovat sociální sítě a hledat aktuální témata.
  • Scrapovat blogy s recepty nebo jejich recenzemi.
  • ...a mnoho dalšího!
Web Scraping v Pythonu

O mé práci

AVorg.png

Web Scraping v Pythonu

Datový pipeline

pipeline_setup_acq_proc.png

Web Scraping v Pythonu

Datový pipeline: Příprava

pipeline_setup.png

Příprava

  • Pochopit, co chceme dělat.
  • Najít zdroje, které nám s tím pomohou.
Web Scraping v Pythonu

Datový pipeline: Získávání

pipeline_setup_acq.png

Získávání dat

  • Načtení surových dat z webu.
  • Formátování dat pro další použití.
Web Scraping v Pythonu

Datový pipeline: Zpracování

pipeline_setup_acq_proc.png

Zpracování

  • Mnoho možností!
Web Scraping v Pythonu

Jak na to?

Náš záměr

  • Získávání dat!
  • (Pomocí scrapy přes python)
Web Scraping v Pythonu

Jste připraveni?

Web Scraping v Pythonu

Preparing Video For Download...