Вебскрапінг із Python

Вебскрапінг у Python

Thomas Laetsch

Data Scientist, NYU

Розуміння бізнесу

Чого прагнуть бізнеси?

  • Порівняння цін
  • Задоволеність клієнтів
  • Генерація потенційних лідів
  • ...і багато іншого!
Вебскрапінг у Python

Особисті задачі

Що можете робити ви?

  • Шукати улюблені меми на улюблених сайтах.
  • Автоматично проглядати оголошення про продаж гаджетів.
  • Скрейпити соцмережі у пошуках гарячих тем.
  • Скрейпити кулінарні блоги на конкретні рецепти чи відгуки.
  • ...і багато іншого!
Вебскрапінг у Python

Про мою роботу

AVorg.png

Вебскрапінг у Python

Мрія про конвеєр

pipeline_setup_acq_proc.png

Вебскрапінг у Python

Мрія про конвеєр: налаштування

pipeline_setup.png

Налаштування

  • Зрозумійте, що саме потрібно зробити.
  • Знайдіть джерела, що допоможуть це виконати.
Вебскрапінг у Python

Мрія про конвеєр: збирання

pipeline_setup_acq.png

Збирання

  • Зчитайте сирі дані з інтернету.
  • Відформатуйте ці дані для подальшого використання.
Вебскрапінг у Python

Мрія про конвеєр: опрацювання

pipeline_setup_acq_proc.png

Опрацювання

  • Багато варіантів!
Вебскрапінг у Python

Як ви це зробите?

Наш фокус

  • Збирання!
  • (Використовуємо scrapy через python)
Вебскрапінг у Python

Ви з нами?

Вебскрапінг у Python

Preparing Video For Download...