Airflow Dags

Python में Apache Airflow परिचय

Mike Metzger

Data Engineer

Dag क्या है?

Dag, या Directed Acyclic Graph:

Directed - घटकों के बीच प्रवाह dependencies दर्शाता है
Acyclic - न लूप, न दोहराव
Graph - घटकों का समूह

एक निर्देशित एसीक्लिक ग्राफ जिसमें नोड एकतरफा तीरों से जुड़े हैं और कोई लूप नहीं है

Airflow में Dag

Python में लिखा जाता है (पर अन्य भाषाओं के components उपयोग कर सकता है)
Tasks से बना होता है, जैसे operators या sensors
Dependencies स्पष्ट या अप्रत्यक्ष रूप से परिभाषित होती हैं
- जैसे, फ़ाइल को server पर कॉपी करें, फिर उसे database service में import करें।

Airflow Dag जिसमें जुड़े हुए tasks के बीच dependency क्रम दिख रहा है

Dag को परिभाषित करें

उदाहरण Dag (Taskflow API):

from airflow.sdk import dag


from pendulum import datetime
@dag(
  dag_id='etl_workflow',
  email='[email protected]',
  start_date=datetime(2026, 3, 15, tz="UTC")
)

def etl_workflow():
  ...

etl_workflow()

कमांड लाइन पर Dags

airflow कमांड लाइन में कई subcommands होते हैं
airflow -h - help और subcommand विवरण

Dag subcommands
- airflow dags list - सभी पहचाने गए Dags दिखाएँ
- airflow dags reserialize - Airflow को Dag फ़ाइलें reload करने के लिए मजबूर करें
- airflow tasks test - कोई specific task चलाएँ

कमांड लाइन बनाम Python

कमांड लाइन टूल से करें:

Airflow processes शुरू करें
Dags / Tasks मैन्युअली चलाएँ
Airflow से logging जानकारी लें

टर्मिनल जिसमें airflow कमांड लाइन टूल चल रहा है

Python से करें:

एक Dag बनाएँ
Dag के individual properties संपादित करें

Python कोड दर्शाता चित्र

अभ्यास करते हैं!

Python में Apache Airflow परिचय