Pipeline de dados

Introdução à Engenharia de Dados

Hadrien Lacroix

Content Developer at DataCamp

Se os dados são o novo óleo...

¹ The Economist, 2017-05-06, de David Parkins

De volta à engenharia de dados

• Dar entrada
• Processar
• Armazenar
• Necessidade de pipelines
• Automatizar o fluxo de uma estação para outra
• Disponibilizar dados atualizados, precisos e relevantes

$$

Os pipelines de dados garantem um fluxo eficiente dos dados

Automatizam

• Extração
• Transformação
• Combinação
• Validação
• Carregamento

Reduzem

• Intervenção humana
• Erros
• Tempo necessário para movimentação dos dados

ETL e pipelines de dados

ETL

• Estrutura muito utilizada para projetar pipelines de dados
• 1) Extrair dados
• 2) Transformar dados extraídos
• 3) Carregar dados transformados para outro banco de dados

Pipelines de dados

• Movimentam dados de um sistema para outro
• Podem seguir o ETL
• Os dados nem sempre são transformados
• Os dados podem ser carregados diretamente nos aplicativos

Resumo

• O que é um pipeline de dados
• Para que serve
• Por que é importante
• Como os pipelines de dados são implementados na Spotflix
• O que é ETL e suas nuances

Vamos praticar!

Introdução à Engenharia de Dados