Web Scraping mit Python

Web Scraping in Python

Thomas Laetsch

Data Scientist, NYU

Business-Know-how

Wonach suchen Unternehmen?

  • Preise vergleichen
  • Kundenzufriedenheit
  • Leads generieren
  • …und vieles mehr!
Web Scraping in Python

Ganz persönlich

Was könntest du tun?

  • Lieblingsmemes auf Lieblingsseiten suchen.
  • Automatisch Kleinanzeigen nach Lieblingsgadgets durchsuchen.
  • Inhalte sozialer Sites nach Trends scrapen.
  • Kochblogs nach bestimmten Rezepten oder Reviews scrapen.
  • …und vieles mehr!
Web Scraping in Python

Über meine Arbeit

AVorg.png

Web Scraping in Python

Pipe Dream

pipeline_setup_acq_proc.png

Web Scraping in Python

Pipe Dream: Setup

pipeline_setup.png

Setup

  • Ziel klar definieren.
  • Quellen finden, die helfen.
Web Scraping in Python

Pipe Dream: Erfassung

pipeline_setup_acq.png

Erfassung

  • Rohdaten online einlesen.
  • Daten nutzbar formatieren.
Web Scraping in Python

Pipe Dream: Verarbeitung

pipeline_setup_acq_proc.png

Verarbeitung

  • Viele Optionen!
Web Scraping in Python

Wie geht das?

Unser Fokus

  • Erfassung!
  • (Mit scrapy über python)
Web Scraping in Python

Bist du dabei?

Web Scraping in Python

Preparing Video For Download...