Веб-скрапинг на Python

Веб-скрапинг на Python

Thomas Laetsch

Data Scientist, NYU

Бизнес-задачи

Что интересует бизнес?

  • Сравнение цен
  • Удовлетворённость клиентов
  • Поиск потенциальных клиентов
  • ...и многое другое!
Веб-скрапинг на Python

Личное применение

Что можно сделать для себя?

  • Искать любимые мемы на нужных сайтах.
  • Автоматически просматривать объявления о продаже гаджетов.
  • Парсить социальные сети в поисках популярных тем.
  • Парсить кулинарные блоги в поисках рецептов и отзывов.
  • ...и многое другое!
Веб-скрапинг на Python

О моей работе

AVorg.png

Веб-скрапинг на Python

Конвейер данных

pipeline_setup_acq_proc.png

Веб-скрапинг на Python

Конвейер: настройка

pipeline_setup.png

Настройка

  • Определяем цель.
  • Находим подходящие источники.
Веб-скрапинг на Python

Конвейер: сбор данных

pipeline_setup_acq.png

Сбор данных

  • Считываем «сырые» данные из сети.
  • Приводим их к удобному формату.
Веб-скрапинг на Python

Конвейер: обработка

pipeline_setup_acq_proc.png

Обработка

  • Множество вариантов!
Веб-скрапинг на Python

С чего начнём?

Наш фокус

  • Сбор данных!
  • (С помощью scrapy через python)
Веб-скрапинг на Python

Готовы начать?

Веб-скрапинг на Python

Preparing Video For Download...