Pipeline de dados

Introdução à ciência de dados

Sara Billen

Curriculum Manager

() Coleta e ingestão de dados com uma única fonte

() Coleta e ingestão de dados com três fontes

Mais de uma fonte de dados:

Diferentes tipos de dados:

O que é um pipeline de dados?

Move os dados para estágios definidos
Coleta e armazenamento automatizados
- Programado de hora em hora, diariamente, semanalmente, etc.
- Acionado por um evento
Monitorado com alertas gerados
Necessário para projetos de big data
Os engenheiros de dados trabalham para personalizar as soluções
Extração , transformação e carga(ETL)

Pipeline de dados

Dados	Fonte:	Frequência
Condições climáticas	API do serviço meteorológico nacional	A cada 30 minutos
Tweets em sua área	API do Twitter	Fluxo em tempo real
Temperatura interna	Termostato doméstico inteligente	A cada 5 minutos
Status das luzes	Lâmpadas inteligentes	A cada minuto
Status dos bloqueios	Travas de portas inteligentes	A cada 15 segundos
Consumo de energia	Medidor inteligente	Semanal

Fase de extração

Fonte:	Frequência
API de clima nacional	A cada 30 minutos
API do Twitter	Fluxo em tempo real
Termostato doméstico inteligente	A cada 5 minutos
Lâmpadas inteligentes	A cada minuto
Travas de portas inteligentes	A cada 15 segundos
Medidor inteligente	Semanal

Fase de carga

() Exemplo de transformações:

A preparação e a exploração de dados não ocorrem nesse estágio

Fase de carga

Automatização

Introdução à ciência de dados