De la dezvoltare la producție

Construirea pipeline-urilor de date cu Airflow

Volker Janz

Senior Developer Advocate at Astronomer

Airflow CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Trusa de producție alături de UI
Automatizează operațiunile și scriptează deployment-urile

Declanșarea unei rulări

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Creează o rulare manuală pentru o dată specifică
Indicatorul --logical-date stabilește ce dată procesează rularea
run_id începe cu manual__

Listarea rulărilor

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Afișează toate rulările unui DAG
Prefixul run_id indică cum a fost creată rularea
scheduled__ = creat de scheduler
manual__ = creat prin comandă de declanșare sau UI

Completarea datelor istorice

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Reprocesează un interval de date istorice
Creează câte o rulare per interval programat
--max-active-runs controlează concurența
Rulările backfill încep cu backfill__

Trei tipuri de rulări

Cele trei tipuri de rulări cu prefixele și modul lor de creare

scheduled__: creat automat de scheduler
manual__: creat prin comandă de declanșare sau buton UI
backfill__: creat prin comanda backfill pentru date istorice
Prefixul din run_id indică întotdeauna tipul rulării

Provocări în producție

Provocările Airflow în producție: build, run și observe

Build: configurarea mediilor Airflow, dezvoltare asistată de AI, deployment în producție
Run: scalarea worker-ilor, gestionarea failover-ului între regiuni
Observe: investigarea erorilor, monitorizarea prospețimii datelor, trasarea liniei de date în și dincolo de DAG-uri

Astro: Build

Astro CLI

Airflow local printr-o singură comandă
Deploy în producție fără efort

Astro IDE

Creare DAG-uri în browser
Coding asistat de AI, fără configurare locală

Produsele Astro Build

Astro: Run și Observe

Run

Auto-scalare elastică în funcție de coada de taskuri
Disponibilitate ridicată cu failover automat
Fără administrare de infrastructură

Observe

Linie de date între DAG-uri și tabele
Alerte SLA proactive înainte de depășirea termenelor
Rezumate AI ale logurilor pentru diagnosticare rapidă

Astro Observe

Hai să exersăm!

Construirea pipeline-urilor de date cu Airflow