Airflow में डिबगिंग और ट्रबलशूटिंग

Python में Apache Airflow परिचय

Mike Metzger

Data Engineer

सामान्य समस्याएँ

Dag शेड्यूल पर नहीं चल रहा है
Dag लोड नहीं हो रहा
सिंटैक्स एरर

सामान्य Airflow ट्रबलशूटिंग समस्याओं का चित्रण

Dag शेड्यूल पर नहीं चल रहा है

कम से कम एक schedule अवधि नहीं बीती है
- अपनी आवश्यकताओं के अनुसार एट्रिब्यूट बदलें
चलाने के लिए संसाधन कम हैं
- सिस्टम संसाधन बढ़ाएँ
- और सिस्टम जोड़ें
- Dag शेड्यूलिंग बदलें

Dag लोड नहीं हो रहा

वेब UI में Dag नहीं दिख रहा
airflow dags list में Dag नहीं

संभावित समाधान

जाँचें कि Dag फ़ाइल सही फ़ोल्डर में है (Dags फ़ोल्डर के बाहर फ़ाइलें पार्स नहीं होतीं)
airflow info से Dags फ़ोल्डर पता करें

airflow info के टर्मिनल आउटपुट में dags_folder पथ हाइलाइटेड

सिंटैक्स एरर

Dag फ़ाइल न दिखने का सबसे सामान्य कारण
कभी-कभी Dag में एरर ढूँढना कठिन होता है
तीन त्वरित तरीके:
- Airflow UI में एरर पॉपअप देखें
- airflow dags list-import-errors चलाएँ
- python3 <dagfile.py> चलाएँ

Airflow UI इम्पोर्ट एरर

Airflow वेलकम पेज में Dag इम्पोर्ट एरर अलर्ट दिखाता हुआ

Airflow इम्पोर्ट एरर डिटेल में Dag का ट्रेसबैक मैसेज दिखाता हुआ

airflow dags list-import-errors

airflow dags list-import-errors का टर्मिनल आउटपुट, जिसमें एरर दिख रहा है

airflow dags reserialize

Dag के बदलाव तुरंत नहीं दिख सकते
डिफॉल्ट रूप से Airflow हर 5 मिनट में Dag अपडेट जाँचता है
airflow dags reserialize से फोर्स री-चेक कर सकते हैं

Dag रिफ्रेश फोर्स करने हेतु airflow dags reserialize चलाता हुआ टर्मिनल

Python इंटरप्रेटर चलाना

python3 dagfile.py:

एरर के साथ

python3 से Dag फ़ाइल चलाने पर Python सिंटैक्स एरर दिखाता टर्मिनल

बिना एरर

python3 से Dag फ़ाइल चलाने पर बिना एरर प्रॉम्प्ट पर लौटता टर्मिनल

अभ्यास करते हैं!

Python में Apache Airflow परिचय

Preparing Video For Download...