Do desenvolvimento à produção

Criando Pipelines de Dados com Airflow

Volker Janz

Senior Developer Advocate at Astronomer

A CLI do Airflow

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Seu kit de produção junto com a UI
Automatize operações e faça script de deploys

Disparando uma execução

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Cria uma execução manual para uma data específica
A flag --logical-date define qual data a execução processa
Repare que o run_id começa com manual__

Listando execuções

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Mostra todas as execuções de um Dag
O prefixo de run_id indica como a execução foi criada
scheduled__ = criada pelo scheduler
manual__ = criada por trigger ou pela UI

Backfill de dados históricos

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Reprocessa um intervalo de datas históricas
Cria uma execução por intervalo agendado
--max-active-runs controla a concorrência
Execuções de backfill começam com backfill__

Três tipos de execução

Três tipos de execução, seus prefixos e como são criados

scheduled__: criado automaticamente pelo scheduler
manual__: criado pelo comando de trigger ou botão da UI
backfill__: criado pelo comando de backfill para datas históricas
O prefixo em run_id sempre indica qual tipo é

Desafios de produção

Desafios de produção do Airflow: build, run e observe

Build: configurar ambientes Airflow, desenvolvimento de workflows com IA, deploy de código em produção
Run: escalar workers, lidar com failover entre regiões
Observe: investigar falhas, rastrear frescor dos dados, traçar linhagem dentro e fora dos Dags

Astro: Build

Astro CLI

Airflow local em um comando
Fazer deploy para produção sem atritos

Astro IDE

Criação de Dags no navegador
Código com ajuda de IA, sem setup local

Produtos Astro Build

Astro: Run e Observe

Run

Autoescalonamento elástico com base na fila de tarefas
Alta disponibilidade com failover automático
Sem gerenciar infraestrutura

Observe

Linhagem de pipeline entre Dags e tabelas
Alertas de SLA proativos antes de perder prazos
Resumos de logs com IA para análise de causa raiz mais rápida

Astro Observe

Vamos praticar!

Criando Pipelines de Dados com Airflow