De TaskFlow-API

Data-pijplijnen bouwen met Airflow

Volker Janz

Senior Developer Advocate at Astronomer

De klassieke aanpak

def extract_data():
    return {"users": 150, "events": 4200}


with DAG("etl_pipeline") as dag:
    t1 = PythonOperator(task_id="extract",
                        python_callable=extract_data)
    t2 = PythonOperator(task_id="summary",
                        python_callable=print_summary)

    t1 >> t2

De TaskFlow-aanpak

from airflow.sdk import dag, task


@dag
def etl_pipeline():
    @task
    def extract_data():
        return {"users": 150}


    data = extract_data()
    print_summary(data)

Waarom TaskFlow?

Minder boilerplate, decorators vervangen operator-instanties
Impliciete afhankelijkheden, returnwaarden koppelen taken automatisch
Leesbaar, een Dag leest als een Python-script
Klassieke operators blijven beschikbaar voor providerintegraties

TaskFlow API - visual

Airflow-UI: Rasterweergave

Airflow Rasterweergave

Elke kolom is een Dag-run
Elke rij is een taak
Kleuren tonen status: groen = gelukt, rood = mislukt
Klik op een vakje voor logs en details

Airflow-UI: Grafiekweergave

Airflow Grafiekweergave

Richt zich op één Dag-run
Toont afhankelijkheden en parallellisme
Pas details aan in instellingen

Airflow-UI: Dag-versiebeheer

DAG-versie-indicator in Airflow-UI

Volgt structurele wijzigingen automatisch
Elke run linkt naar de op dat moment actieve versie
Vind versies in het paneel Dag-details

Laten we oefenen!

Data-pijplijnen bouwen met Airflow