Z vývoje do produkce

Tvorba datových pipeline s Airflow

Volker Janz

Senior Developer Advocate at Astronomer

Airflow CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Tvůj produkční nástroj vedle UI
Automatizuj operace a skriptuj nasazení

Spuštění běhu

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Vytvoří manuální běh pro konkrétní datum
Příznak --logical-date určuje, které datum se zpracuje
Všimni si, že run_id začíná manual__

Výpis běhů

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Zobrazí všechny běhy DAGu
Prefix run_id říká, jak byl běh vytvořen
scheduled__ = vytvořil plánovač
manual__ = vytvořen příkazem trigger nebo přes UI

Backfill historických dat

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Znovu zpracuje rozsah historických dat
Vytvoří jeden běh na každý naplánovaný interval
--max-active-runs řídí souběžnost
Backfill běhy začínají backfill__

Tři typy běhů

Tři typy běhů s jejich prefixy a způsobem vytvoření

scheduled__: vytváří automaticky plánovač
manual__: vytváří příkaz trigger nebo tlačítko v UI
backfill__: vytváří příkaz backfill pro historická data
Prefix v run_id vždy prozradí, o který typ se jedná

Produkční výzvy

Produkční výzvy Airflow: build, run a observe

Build: nastavení prostředí Airflow, vývoj workflows s pomocí AI, nasazení kódu do produkce
Run: škálování workerů, zvládání failoveru napříč regiony
Observe: analýza selhání, sledování čerstvosti dat, trasování lineage přes DAGy i mimo ně

Astro: Build

Astro CLI

Airflow lokálně jedním příkazem
Nasazení do produkce bez komplikací

Astro IDE

Tvorba DAGů v prohlížeči
Kódování s pomocí AI, bez lokálního nastavení

Produkty Astro Build

Astro: Run a Observe

Run

Elastické automatické škálování podle fronty úloh
Vysoká dostupnost s automatickým failoverem
Bez správy infrastruktury

Observe

Lineage pipeline napříč DAGy a tabulkami
Proaktivní SLA upozornění před překročením termínů
AI shrnutí logů pro rychlejší analýzu příčin chyb

Astro Observe

Pojďme cvičit!

Tvorba datových pipeline s Airflow