Pipeline de dados

Entendendo a ciência de dados

Sara Billen

Curriculum Manager

$$ Coleta e assimilação de dados com uma única fonte

$$ Coleta e assimilação de dados com três fontes

Mais de uma fonte de dados:

Tipos diferentes de dados:

O que é um pipeline de dados?

Move dados para estágios definidos
Coleta e armazenamento automatizados
- Agendado por hora, diariamente, semanalmente, etc.
- Acionado por um evento
Monitorado com alertas gerados
Necessário para projetos de big data
Os engenheiros de dados trabalham para personalizar soluções
Extrair, Transformar, Carregar (Load) (ETL)

Pipeline de dados

Dados	Fonte	Frequência
Condições climáticas	API do Serviço Nacional de Meteorologia	A cada 30 minutos
Tweets na sua área	API do Twitter	Fluxo em tempo real
Temperatura interna	Termostato residencial inteligente	A cada 5 minutos
Status das luzes	Lâmpadas inteligentes	A cada minuto
Status das fechaduras	Fechaduras inteligentes de porta	A cada 15 segundos
Consumo de energia	Medidor inteligente	Semanal

Fase de extração

Fonte	Frequência
API Nacional de Meteorologia	A cada 30 minutos
API do Twitter	Fluxo em tempo real
Termostato inteligente para casa	A cada 5 minutos
Lâmpadas inteligentes	A cada minuto
Fechaduras inteligentes	A cada 15 segundos
Medidor inteligente	Semanal

Fase de carregamento

$$ Exemplos de transformações:

A preparação e exploração de dados não ocorre nesta etapa

Fase de carregamento

Automatizando

Entendendo a ciência de dados