Dallo sviluppo alla produzione

Creare data pipeline con Airflow

Volker Janz

Senior Developer Advocate at Astronomer

La CLI di Airflow

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Il tuo toolkit di produzione insieme alla UI
Automatizza le operazioni e scripta i deployment

Avviare un run

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Crea un run manuale per una data specifica
Il flag --logical-date imposta quale data il run elabora
Nota che run_id inizia con manual__

Elencare i run

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Mostra tutti i run di un Dag
Il prefisso di run_id indica come è stato creato il run
scheduled__ = creato dallo scheduler
manual__ = creato da trigger o dalla UI

Backfill dei dati storici

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Rielabora un intervallo di date storiche
Crea un run per ogni intervallo pianificato
--max-active-runs controlla la concorrenza
I run di backfill iniziano con backfill__

Tre tipi di run

Tre tipi di run con i relativi prefissi e come vengono creati

scheduled__: creato automaticamente dallo scheduler
manual__: creato dal comando di trigger o dal pulsante UI
backfill__: creato dal comando backfill per date storiche
Il prefisso in run_id indica sempre di che tipo è

Sfide in produzione

Le sfide di produzione di Airflow: build, run e observe

Build: configurare ambienti Airflow, sviluppo workflow con AI, deployment del codice in produzione
Run: scalare i worker, gestire il failover tra regioni
Observe: investigare i failure, tracciare la freschezza dei dati, seguire la lineage tra e oltre i Dag

Astro: Build

Astro CLI

Airflow locale con un solo comando
Deploy in produzione senza attriti

Astro IDE

Creazione di Dag nel browser
Coding assistito dall'AI, nessun setup locale

Prodotti Astro Build

Astro: Run e Observe

Run

Auto-scaling elastico in base alla coda dei task
Alta disponibilità con failover automatico
Nessuna gestione dell'infrastruttura richiesta

Observe

Lineage delle pipeline tra Dag e tabelle
Avvisi SLA proattivi prima delle scadenze
Riepiloghi AI dei log per un'analisi più rapida delle cause

Astro Observe

Esercitiamoci!

Creare data pipeline con Airflow