A API TaskFlow

Criando Pipelines de Dados com Airflow

Volker Janz

Senior Developer Advocate at Astronomer

A abordagem clássica

def extract_data():
    return {"users": 150, "events": 4200}


with DAG("etl_pipeline") as dag:
    t1 = PythonOperator(task_id="extract",
                        python_callable=extract_data)
    t2 = PythonOperator(task_id="summary",
                        python_callable=print_summary)

    t1 >> t2

A abordagem TaskFlow

from airflow.sdk import dag, task


@dag
def etl_pipeline():
    @task
    def extract_data():
        return {"users": 150}


    data = extract_data()
    print_summary(data)

Por que TaskFlow?

Menos boilerplate, decoradores substituem instâncias de operadores
Dependências implícitas, retornos conectam tarefas automaticamente
Legível, a Dag parece um script Python
Operadores clássicos ainda disponíveis para integrações de providers

TaskFlow API - visual

Airflow UI: visão em grade

Visão em grade do Airflow

Cada coluna é uma execução da Dag
Cada linha é uma tarefa
Cores indicam status: verde = sucesso, vermelho = falha
Clique em um quadrado para ver logs e detalhes

Airflow UI: visão em grafo

Visão em grafo do Airflow

Foca em uma execução da Dag
Mostra dependências e execução paralela
Ajuste detalhes nas configurações

Airflow UI: versionamento de Dag

Indicador de versão da Dag na UI do Airflow

Rastreia mudanças estruturais automaticamente
Cada execução aponta para a versão ativa na época
Encontre versões no painel Detalhes da Dag

Vamos praticar!

Criando Pipelines de Dados com Airflow