Agendamento de dados

Introdução à Engenharia de Dados

Hadrien Lacroix

Content Developer at DataCamp

Agendamento

• Pode ser aplicado a qualquer tarefa listada no processamento de dados
• O agendamento mantém o sistema coeso
• Mantém cada parte no lugar e organiza seu funcionamento conjunto
• Executa tarefas em uma ordem específica e resolve todas as dependências

Agendamento manual, por horário e por sensor

• Manual

• Atualização manual da tabela de funcionários

Agendamento manual, por horário e por sensor

• Manual
• Execução automática em um horário específico
• Execução automática se uma condição específica for atendida
  • Agendamento por sensor

• Atualização manual da tabela de funcionários
• Atualização da tabela de funcionários às 6h da manhã

Agendamento manual, por horário e por sensor

• Manual
• Execução automática em um horário específico
• Execução automática se uma condição específica for atendida
  • Agendamento por sensor

• Atualização manual da tabela de funcionários
• Atualização da tabela de funcionários às 6h da manhã
• Atualização das tabelas de departamento quando um novo funcionário é incluído

Lotes e fluxos

• Lotes
  • Agrupam registros em intervalos
  • Geralmente mais econômicos
• Fluxos
  • Enviam registros individuais imediatamente

• Músicas carregadas por artistas
• Tabela de funcionários
• Tabela de receitas
• Novos usuários fazendo login
• Outro exemplo: escuta online x offline

Ferramentas de agendamento

Resumo

• O que é agendamento
• Diferentes maneiras de configurá-lo
• Diferença entre lotes e fluxos
• Como o agendamento é implementado na Spotflix
• Airflow, Luigi

Vamos praticar!

Introdução à Engenharia de Dados