Parabéns

Introdução à Engenharia de Dados

Vincent Vankrunkelsven

Data Engineer, DataCamp

Introdução a engenharia de dados

 

• Identificar as tarefas de um engenheiro de dados
• Que tipos de ferramentas eles usam
• Provedores de serviços em nuvem

Ferramentas de engenharia de dados

 

• Bancos de dados
• Computação paralela e frameworks (Spark)
• Agendamento de workflows com Airflow

Extract, Transform and Load (ETL)

 

• Extract: obter dados de várias fontes
• Transform: aplicar transformações com computação paralela
• Load: carregar dados no banco de destino

Estudo de caso: DataCamp

 

• Buscar dados de múltiplas fontes
• Transformar para gerar recomendações
• Carregar no banco de destino

Bom trabalho!

Introdução à Engenharia de Dados