Parabéns

Introdução à Engenharia de Dados

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Introdução à engenharia de dados

 

• Identificar as tarefas de um engenheiro de dados
• Quais ferramentas ele usa
• Provedores de serviços em nuvem

Ferramentas de engenharia de dados

 

• Bancos de dados
• Computação paralela e frameworks (Spark)
• Agendamento de workflows com Airflow

Extract, Load and Transform (ETL)

 

• Extract: obter dados de várias fontes
• Transform: transformar usando computação paralela
• Load: carregar no banco de destino

Estudo de caso: DataCamp

 

• Buscar dados de várias fontes
• Transformar para gerar recomendações
• Carregar no banco de destino

Bom trabalho!

Introdução à Engenharia de Dados