Od środowiska deweloperskiego do produkcyjnego

Budowanie potoków danych z Airflow

Volker Janz

Senior Developer Advocate at Astronomer

Airflow CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Twoje narzędzie produkcyjne obok interfejsu
Automatyzuj operacje i skryptuj wdrożenia

Wyzwalanie uruchomienia

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Tworzy ręczne uruchomienie dla konkretnej daty
Flaga --logical-date określa, którą datę przetwarza uruchomienie
Zwróć uwagę, że run_id zaczyna się od manual__

Listowanie uruchomień

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Wyświetla wszystkie uruchomienia danego DAG-a
Prefiks run_id mówi ci, jak powstało uruchomienie
scheduled__ = utworzone przez harmonogram
manual__ = utworzone poleceniem wyzwalającym lub przez UI

Uzupełnianie danych historycznych

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Ponowne przetwarzanie zakresu dat historycznych
Tworzy jedno uruchomienie na zaplanowany interwał
--max-active-runs steruje współbieżnością
Uruchomienia backfill zaczynają się od backfill__

Trzy typy uruchomień

Trzy typy uruchomień z ich prefiksami i sposobem tworzenia

scheduled__: tworzone automatycznie przez harmonogram
manual__: tworzone poleceniem wyzwalającym lub przyciskiem w UI
backfill__: tworzone poleceniem backfill dla dat historycznych
Prefiks w run_id zawsze mówi ci, które to jest

Wyzwania produkcyjne

Wyzwania produkcyjne Airflow: budowanie, uruchamianie i monitorowanie

Budowanie: konfiguracja środowisk Airflow, tworzenie przepływów z pomocą AI, wdrażanie kodu na produkcję
Uruchamianie: skalowanie workerów, obsługa przełączania awaryjnego między regionami
Monitorowanie: analiza błędów, śledzenie aktualności danych, odwzorowywanie pochodnych danych w DAG-ach i poza nimi

Astro: budowanie

Astro CLI

Lokalny Airflow jednym poleceniem
Wdrażaj na produkcję bez komplikacji

Astro IDE

Tworzenie DAG-ów w przeglądarce
Kodowanie wspomagane przez AI, bez lokalnej konfiguracji

Produkty Astro Build

Astro: uruchamianie i monitorowanie

Uruchamianie

Elastyczne autoskalowanie na podstawie kolejki zadań
Wysoka dostępność dzięki automatycznemu przełączaniu awaryjnemu
Bez zarządzania infrastrukturą

Monitorowanie

Pochodna pipelinów między DAG-ami i tabelami
Proaktywne alerty SLA przed przekroczeniem terminów
Podsumowania logów przez AI dla szybszej analizy przyczyn błędów

Astro Observe

Czas na praktykę!

Budowanie potoków danych z Airflow