Web Scraping com Python

Raspagem da Web em Python

Thomas Laetsch

Data Scientist, NYU

Visão de Negócio

O que as empresas buscam?

  • Comparar preços
  • Satisfação dos clientes
  • Gerar leads
  • ...e muito mais!
Raspagem da Web em Python

É Pessoal

O que você poderia fazer?

  • Buscar seus memes favoritos nos seus sites preferidos.
  • Vasculhar anúncios por seus gadgets favoritos.
  • Raspagem em redes sociais para achar tópicos em alta.
  • Raspagem em blogs de culinária por receitas ou reviews.
  • ...e muito mais!
Raspagem da Web em Python

Sobre Meu Trabalho

AVorg.png

Raspagem da Web em Python

Sonho de Pipeline

Configuração do pipeline: aquisição e processamento

Raspagem da Web em Python

Sonho de Pipeline: Setup

Configuração do pipeline

Setup

  • Definir o objetivo.
  • Achar fontes para executar.
Raspagem da Web em Python

Sonho de Pipeline: Aquisição

Configuração do pipeline: aquisição

Aquisição

  • Ler os dados brutos online.
  • Formatar para uso.
Raspagem da Web em Python

Sonho de Pipeline: Processamento

Configuração do pipeline: aquisição e processamento

Processamento

  • Muitas opções!
Raspagem da Web em Python

Como fazer?

Nosso foco

  • Aquisição!
  • (Usando scrapy via python)
Raspagem da Web em Python

Topa?

Raspagem da Web em Python

Preparing Video For Download...