डेवलपमेंट से प्रोडक्शन तक

Airflow के साथ Data Pipelines बनाना

Volker Janz

Senior Developer Advocate at Astronomer

Airflow CLI

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

 

  • UI के साथ आपका प्रोडक्शन टूलकिट
  • ऑपरेशन्स ऑटोमेट करें और डिप्लॉयमेंट को स्क्रिप्ट करें
Airflow के साथ Data Pipelines बनाना

रन ट्रिगर करना

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

 

  • किसी दिनांक के लिए मैनुअल रन बनाता है
  • --logical-date फ्लैग सेट करता है कि रन किस तारीख को प्रोसेस करे
  • देखें, run_id की शुरुआत manual__ से होती है
Airflow के साथ Data Pipelines बनाना

रन सूचीबद्ध करना

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

 

  • किसी Dag के सभी रन दिखाता है
  • run_id प्रीफ़िक्स बताता है कि रन कैसे बना
  • scheduled__ = scheduler ने बनाया
  • manual__ = trigger कमांड या UI से बना
Airflow के साथ Data Pipelines बनाना

ऐतिहासिक डेटा का बैकफिल

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

 

  • ऐतिहासिक तारीखों की रेंज को रीप्रोसेस करें
  • हर शेड्यूल्ड इंटरवल पर एक रन बनता है
  • --max-active-runs कन्करेंसी नियंत्रित करता है
  • Backfill रन की शुरुआत backfill__ से होती है
Airflow के साथ Data Pipelines बनाना

रन के तीन प्रकार

तीन रन प्रकार, उनके प्रीफ़िक्स और कैसे बनाए जाते हैं

  • scheduled__: scheduler द्वारा अपने-आप बनाया जाता है
  • manual__: trigger कमांड या UI बटन से बनाया जाता है
  • backfill__: ऐतिहासिक तारीखों के लिए backfill कमांड से बनता है
  • run_id का प्रीफ़िक्स हमेशा बताता है कि यह कौन सा है
Airflow के साथ Data Pipelines बनाना

प्रोडक्शन चुनौतियाँ

Airflow प्रोडक्शन चुनौतियाँ: build, run, और observe

  • Build: Airflow एनवायरनमेंट सेटअप, AI-ड्रिवन वर्कफ़्लो डेवलपमेंट, कोड को प्रोडक्शन में डिप्लॉय करना
  • Run: वर्कर्स को स्केल करना, रीजन-क्रॉस फेलओवर हैंडल करना
  • Observe: फेल्योर जाँच, डेटा फ़्रेशनेस ट्रैक करना, Dags के पार और बाहर लाइनिज़ ट्रेस करना
Airflow के साथ Data Pipelines बनाना

Astro: Build

 

Astro CLI

  • एक कमांड में लोकल Airflow
  • प्रोडक्शन में सीमलेस डिप्लॉय

$$

Astro IDE

  • ब्राउज़र-आधारित Dag ऑथरिंग
  • AI-असिस्टेड कोडिंग, कोई लोकल सेटअप नहीं

Astro Build प्रोडक्ट्स

Airflow के साथ Data Pipelines बनाना

Astro: Run और Observe

Run

  • टास्क क्यू पर आधारित इलास्टिक ऑटो-स्केलिंग
  • ऑटोमेटिक फेलओवर के साथ हाई अवेलेबिलिटी
  • इन्फ्रास्ट्रक्चर मैनेजमेंट की ज़रूरत नहीं

Observe

  • Dags और टेबल्स के पार पाइपलाइन लाइनिज़
  • डेडलाइन मिस होने से पहले प्रोएक्टिव SLA अलर्ट
  • तेज़ रूट कॉज़ एनालिसिस के लिए AI लॉग समरी

Astro Observe

Airflow के साथ Data Pipelines बनाना

अभ्यास करते हैं!

Airflow के साथ Data Pipelines बनाना

Preparing Video For Download...