Хватит ждать — начинаем скрапинг!

Веб-скрапинг на Python

Thomas Laetsch

Data Scientist, NYU

Загрузка данных

Навыки скрапинга

• Цель: автоматический скрапинг сайта
• Как? Используем scrapy
• Как? Нам понадобятся:
  • объекты Selector и Response
  • возможно, собственный Spider
• Как? Нужно освоить XPath или CSS Locator
• Как? Разобраться в структуре HTML

Что уже известно?

• Структура HTML
• Нотации XPath и CSS Locator
• Работа с объектами Selector и Response в scrapy
• Настройка Spider
• Скрапинг веб-страниц

EOT

Веб-скрапинг на Python