Från utveckling till produktion

Bygg datapipelines med Airflow

Volker Janz

Senior Developer Advocate at Astronomer

Airflow CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Ditt produktionsverktyg vid sidan av UI:t
Automatisera operationer och skripta driftsättningar

Starta en körning

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Skapar en manuell körning för ett specifikt datum
Flaggan --logical-date anger vilket datum körningen bearbetar
Observera att run_id börjar med manual__

Lista körningar

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Visar alla körningar för en DAG
Prefixet i run_id anger hur körningen skapades
scheduled__ = skapad av schemaläggaren
manual__ = skapad via triggerkommando eller UI

Backfill av historiska data

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Bearbeta om ett intervall av historiska datum
Skapar en körning per schemalagt intervall
--max-active-runs styr parallellkörning
Backfill-körningar börjar med backfill__

Tre typer av körningar

Tre körningstyper med deras prefix och hur de skapas

scheduled__: skapas automatiskt av schemaläggaren
manual__: skapas via triggerkommando eller UI-knapp
backfill__: skapas via backfill-kommandot för historiska datum
Prefixet i run_id anger alltid vilken typ det är

Produktionsutmaningar

Airflows produktionsutmaningar: bygg, kör och observera

Bygg: sätta upp Airflow-miljöer, AI-driven arbetsflödesutveckling, driftsätta kod i produktion
Kör: skala workers, hantera failover över regioner
Observera: felinvestigering, spåra datafräschhet, härleda ursprung inom och bortom DAG:ar

Astro: Bygg

Astro CLI

Lokal Airflow med ett kommando
Driftsätt till produktion sömlöst

Astro IDE

Webbläsarbaserad DAG-redigering
AI-assisterad kodning, ingen lokal installation

Astros byggprodukter

Astro: Kör och observera

Kör

Elastisk autoskalning baserad på uppgiftskön
Hög tillgänglighet med automatisk failover
Ingen infrastrukturhantering krävs

Observera

Pipeline-ursprung över DAG:ar och tabeller
Proaktiva SLA-aviseringar innan deadlines missas
AI-loggsammanfattningar för snabbare rotorsaksanalys

Astro Observe

Nu kör vi en övning!

Bygg datapipelines med Airflow