Van ontwikkeling naar productie

Data-pijplijnen bouwen met Airflow

Volker Janz

Senior Developer Advocate at Astronomer

De Airflow-CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Je productietoolkit naast de UI
Automatiseer operaties en script deployments

Een run triggeren

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Maakt een handmatige run voor een specifieke datum
De vlag --logical-date bepaalt welke datum de run verwerkt
Let op: run_id begint met manual__

Runs weergeven

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Toont alle runs voor een Dag
Het run_id-prefix vertelt hoe de run is gemaakt
scheduled__ = gemaakt door de scheduler
manual__ = gemaakt via trigger-opdracht of UI

Historische data backfillen

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Verwerk een reeks historische datums opnieuw
Maakt één run per gepland interval
--max-active-runs bepaalt de concurrentie
Backfill-runs beginnen met backfill__

Drie typen runs

Drie runtypes met hun prefixes en hoe ze worden gemaakt

scheduled__: automatisch gemaakt door de scheduler
manual__: gemaakt via de trigger-opdracht of UI-knop
backfill__: gemaakt door de backfill-opdracht voor historische datums
Het prefix in run_id vertelt je altijd welk type het is

Productie-uitdagingen

De productie-uitdagingen van Airflow: build, run en observe

Build: Airflow-omgevingen opzetten, AI-gedreven workflowontwikkeling, code naar productie deployen
Run: workers schalen, failover over regio's afhandelen
Observe: falen onderzoeken, dataverseheid volgen, herkomst traceren binnen en buiten Dags

Astro: Build

Astro CLI

Lokale Airflow met één commando
Deploy naadloos naar productie

Astro IDE

Browsergebaseerd Dag-ontwerpen
AI-ondersteund coderen, geen lokale setup

Astro Build-producten

Astro: Run en Observe

Run

Elastisch autoschalen op basis van de taakqueue
Hoge beschikbaarheid met automatische failover
Geen infrastructuurbeheer nodig

Observe

Pijplijn-herkomst over Dags en tabellen
Proactieve SLA-meldingen vóór deadlines worden gemist
AI-logsamenvattingen voor snellere oorzaakanalyses

Astro Observe

Laten we oefenen!

Data-pijplijnen bouwen met Airflow