Orquestração

Entendendo a Arquitetura de Dados Moderna

Miller Trujillo

Senior Software Engineer

O que é orquestração?

Fluxo de alto nível para processar 5 tabelas

  • Coordenar vários jobs
  • Configuração e coordenação automatizadas de fluxos complexos.

Exemplo de DAG do Airflow

  • Libera tempo da equipe
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Entendendo a Arquitetura de Dados Moderna

Orquestração vs. agendamento

Agendamento

  • Executar tarefas em intervalos/horários definidos
  • Inicia workflows orquestrados

Exemplo de agendamento

Orquestração

Automatiza e coordena workflows complexos

Exemplo de orquestração

Entendendo a Arquitetura de Dados Moderna

Apache Airflow

Logo do Apache Airflow

  • Coordenar workflows complexos com Python
Entendendo a Arquitetura de Dados Moderna

Conceitos básicos de orquestração

  • Tarefas:
    • Unidade básica de execução
  • Dependências:
    • Definem a ordem das tarefas
  • Grafo Acíclico Dirigido (DAG):
    • Fluxo de tarefas e dependências

Exemplo de DAG do Airflow

Entendendo a Arquitetura de Dados Moderna

Conceitos básicos de orquestração

  • Operadores:
    • Definem o tipo de tarefa
    • BashOperator
    • PythonOperator
  • Sensores:
    • Esperam por condições específicas
  • Scheduler
    • Automatiza o disparo das tarefas.
Entendendo a Arquitetura de Dados Moderna

Vamos praticar!

Entendendo a Arquitetura de Dados Moderna

Preparing Video For Download...