Resumo

Criando Pipelines de Dados com Airflow

Volker Janz

Developer Advocate at Astronomer

O que você construiu

Jornada do curso: 4 capítulos até pipelines em produção

  • Você criou Dags com a TaskFlow API e passou dados com XCom
  • Construiu workflows dinâmicos com mapeamento de tarefas, assets e fluxos HITL
  • Deixou Dags prontas para produção com retries, operadores adiáveis e tests
  • Orquestrou cargas de trabalho SQL com partições e quality gates
Criando Pipelines de Dados com Airflow

Seu conjunto de ferramentas

Capítulo 1: Fundamentos

  • @dag, @task, TaskFlow API
  • XCom, .output, passagem de dados
  • Versionamento de Dag, estratégias de agendamento

Capítulo 2: Autoria avançada

  • .expand(), .partial(), mapeamento dinâmico de tarefas
  • Asset, saídas, schedule=[Asset], agendamento data-aware
  • {{ ds }}, idempotência, human-in-the-loop

Capítulo 3: Pronto para produção

  • retries, on_failure_callback, alertas de deadline
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Capítulo 4: Cargas SQL

  • SQL com SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Qualidade de dados, CLI, colocar Airflow em produção
Criando Pipelines de Dados com Airflow

Comece a construir hoje

Comece a construir hoje

$$

Criando Pipelines de Dados com Airflow

Boas construções!

Criando Pipelines de Dados com Airflow

Preparing Video For Download...