Geliştirmeden üretime

Airflow ile Veri İş Hatları Oluşturma

Volker Janz

Senior Developer Advocate at Astronomer

Airflow CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

UI ile birlikte üretim araç setin
İşlemleri otomatikleştir, dağıtımları betikle

Bir çalıştırma tetikleme

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Belirli bir tarih için manuel bir çalıştırma oluşturur
--logical-date bayrağı, çalıştırmanın hangi tarihi işleyeceğini ayarlar
run_id'nin manual__ ile başladığını fark et

Çalıştırmaları listeleme

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Bir Dag için tüm çalıştırmaları gösterir
run_id öneki, çalıştırmanın nasıl oluşturulduğunu söyler
scheduled__ = zamanlayıcı tarafından oluşturuldu
manual__ = tetikleme komutu veya UI ile oluşturuldu

Geçmiş verileri backfill etme

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Geçmiş tarih aralığını yeniden işle
Her planlı aralık için bir çalıştırma oluşturur
--max-active-runs eşzamanlılığı kontrol eder
Backfill çalıştırmaları backfill__ ile başlar

Üç çalıştırma türü

Önekleri ve nasıl oluşturulduklarıyla üç çalıştırma türü

scheduled__: zamanlayıcı tarafından otomatik oluşturulur
manual__: tetikleme komutu veya UI düğmesiyle oluşturulur
backfill__: geçmiş tarihler için backfill komutuyla oluşturulur
run_id öneki her zaman hangisi olduğunu gösterir

Üretim zorlukları

Airflow üretim zorlukları: oluştur, çalıştır, gözlemle

Oluştur: Airflow ortamları kurma, yapay zekâ destekli iş akışı geliştirme, kodu üretime dağıtma
Çalıştır: işçileri ölçeklendirme, bölgeler arası failover yönetimi
Gözlemle: başarısızlık analizi, veri tazeliğini izleme, Dag'ler içinde/dışında soy kütüğü takibi

Astro: Oluştur

Astro CLI

Tek komutla yerel Airflow
Üretime sorunsuz dağıtım

Astro IDE

Tarayıcı tabanlı Dag yazımı
Yapay zekâ destekli kodlama, yerel kurulum yok

Astro Build ürünleri

Astro: Çalıştır ve Gözlemle

Çalıştır

Görev kuyruğuna göre esnek otomatik ölçekleme
Otomatik failover ile yüksek erişilebilirlik
Altyapı yönetimi yok

Gözlemle

Dag'ler ve tablolar arasında pipeline soyu
Süre dolmadan proaktif SLA uyarıları
Daha hızlı kök neden analizi için yapay zekâ log özetleri

Astro Observe

Hadi pratik yapalım!

Airflow ile Veri İş Hatları Oluşturma