Vom Development in die Produktion

Data-Pipelines mit Airflow aufbauen

Volker Janz

Senior Developer Advocate at Astronomer

Die Airflow-CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Dein Production-Toolkit neben der UI
Automatisiere Abläufe und skripte Deployments

Einen Lauf auslösen

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Erstellt einen manuellen Lauf für ein bestimmtes Datum
Das Flag --logical-date setzt, welches Datum der Lauf verarbeitet
Beachte: run_id beginnt mit manual__

Läufe auflisten

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Zeigt alle Läufe für einen Dag
Das run_id-Präfix zeigt dir, wie der Lauf erstellt wurde
scheduled__ = vom Scheduler erstellt
manual__ = durch Trigger-Befehl oder UI erstellt

Historische Daten nachziehen (Backfill)

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Verarbeite einen Bereich historischer Daten neu
Erstellt einen Lauf pro geplantem Intervall
--max-active-runs steuert die Parallelität
Backfill-Läufe beginnen mit backfill__

Drei Arten von Läufen

Drei Laufarten mit ihren Präfixen und wie sie erstellt werden

scheduled__: automatisch vom Scheduler erstellt
manual__: per Trigger-Befehl oder UI-Button erstellt
backfill__: per Backfill-Befehl für historische Daten erstellt
Das Präfix in run_id zeigt dir immer, welcher Typ es ist

Produktionsherausforderungen

Die Produktionsherausforderungen in Airflow: Build, Run und Observe

Build: Airflow-Umgebungen aufsetzen, KI-gestützte Workflow-Entwicklung, Code in Produktion deployen
Run: Worker skalieren, Failover über Regionen handhaben
Observe: Fehleranalyse, Datenaktualität tracken, Lineage über und außerhalb von Dags nachverfolgen

Astro: Build

Astro CLI

Lokales Airflow mit einem Befehl
Nahtlos in die Produktion deployen

Astro IDE

Browserbasiertes Dag-Authoring
KI-Assistenz, keine lokale Einrichtung

Astro Build Produkte

Astro: Run und Observe

Run

Elastisches Autoscaling basierend auf der Task-Queue
Hohe Verfügbarkeit mit automatischem Failover
Kein Infrastruktur-Management nötig

Observe

Pipeline-Lineage über Dags und Tabellen hinweg
Proaktive SLA-Alerts bevor Deadlines verpasst werden
KI-Log-Zusammenfassungen für schnellere Ursachenanalyse

Astro Observe

Lass uns üben!

Data-Pipelines mit Airflow aufbauen