Webbskrapning med Python

Webbskrapning i Python

Thomas Laetsch

Data Scientist, NYU

Affärsnytta

Vad söker företag efter?

  • Prisjämförelser
  • Kundnöjdhet
  • Generera potentiella leads
  • ...och mycket mer!
Webbskrapning i Python

Personligt bruk

Vad kan du göra?

  • Sök efter favoritmemet på dina favoritwebbplatser.
  • Bevaka annonser automatiskt efter prylar du gillar.
  • Skrapa sociala medier efter heta ämnen.
  • Skrapa matbloggar efter specifika recept eller receptrecensioner.
  • ...och mycket mer!
Webbskrapning i Python

Om mitt arbete

AVorg.png

Webbskrapning i Python

Drömpipen

pipeline_setup_acq_proc.png

Webbskrapning i Python

Drömpipen: Inställning

pipeline_setup.png

Inställning

  • Förstå vad vi vill göra.
  • Hitta källor som hjälper oss.
Webbskrapning i Python

Drömpipen: Insamling

pipeline_setup_acq.png

Insamling

  • Läs in rådata från webben.
  • Formatera datan så att den kan användas.
Webbskrapning i Python

Drömpipen: Bearbetning

pipeline_setup_acq_proc.png

Bearbetning

  • Många alternativ!
Webbskrapning i Python

Hur gör man?

Vårt fokus

  • Insamling!
  • (Med scrapy via python)
Webbskrapning i Python

Är du redo?

Webbskrapning i Python

Preparing Video For Download...