Web Scraping w Pythonie

Web Scraping w Pythonie

Thomas Laetsch

Data Scientist, NYU

Zastosowania biznesowe

Czego szukają firmy?

  • Porównywanie cen
  • Satysfakcja klientów
  • Pozyskiwanie potencjalnych klientów
  • ...i wiele więcej!
Web Scraping w Pythonie

Zastosowania prywatne

Co można zrobić?

  • Wyszukiwanie ulubionych memów na wybranych stronach.
  • Automatyczne przeglądanie ogłoszeń w poszukiwaniu gadżetów.
  • Scrapowanie mediów społecznościowych w poszukiwaniu popularnych tematów.
  • Scrapowanie blogów kulinarnych w poszukiwaniu przepisów lub recenzji.
  • ...i wiele więcej!
Web Scraping w Pythonie

O mojej pracy

AVorg.png

Web Scraping w Pythonie

Potok danych

pipeline_setup_acq_proc.png

Web Scraping w Pythonie

Potok danych: Konfiguracja

pipeline_setup.png

Konfiguracja

  • Określenie celu działania.
  • Znalezienie odpowiednich źródeł.
Web Scraping w Pythonie

Potok danych: Pozyskiwanie

pipeline_setup_acq.png

Pozyskiwanie

  • Odczyt surowych danych z internetu.
  • Formatowanie danych do dalszego użytku.
Web Scraping w Pythonie

Potok danych: Przetwarzanie

pipeline_setup_acq_proc.png

Przetwarzanie

  • Wiele możliwości!
Web Scraping w Pythonie

Jak to działa?

Nasz cel

  • Pozyskiwanie danych!
  • (Przy użyciu scrapy przez python)
Web Scraping w Pythonie

Gotowi do działania?

Web Scraping w Pythonie

Preparing Video For Download...