प्रोडक्शन पाइपलाइन बनाना

Python में Apache Airflow परिचय

Mike Metzger

Data Engineer

Dags और टास्क चलाना

कमांड-लाइन से कोई विशेष टास्क चलाने के लिए:

airflow tasks test <dag_id> <task_id> <date>

पूरा Dag चलाने के लिए:

airflow dags trigger --logical-date <date> <dag_id>

@task - किसी दिए गए Python फंक्शन को Airflow टास्क के रूप में सेट करता है
@task.bash - किसी bash कमांड का कंटेंट Airflow टास्क रिजल्ट के रूप में रिटर्न करता है
@task.branch - Dag के भीतर रन-टाइम पर विकल्प देने वाला ब्रांचिंग ऑपरेटर
FileSensor - filepath आर्ग्युमेंट चाहिए, और mode या poke_interval एट्रीब्यूट्स की ज़रूरत पड़ सकती है

python3 इंटरप्रेटर खोलें
ज़रूरी लाइब्रेरी इम्पोर्ट करें (जैसे, from airflow.sdk import dag, task)
प्रॉम्प्ट पर help(<Airflow object>) चलाएँ, जैसे help(task)
ऐसी लाइन देखें जो template_fields रेफर करे. यह बताएगी किन आर्ग्युमेंट्स में टेम्पलेट्स चलेंगे.

Airflow ऑब्जेक्ट के लिए python3 help आउटपुट दिखाता टर्मिनल

Airflow help में template_fields लाइन को हाइलाइट करता टर्मिनल आउटपुट

वर्कफ़्लोज़ बनाना, शेड्यूल करना और मॉनिटर करना का चित्रण

Apache Airflow लोगो

Python में Apache Airflow परिचय