TaskFlow API

Airflow के साथ Data Pipelines बनाना

Volker Janz

Senior Developer Advocate at Astronomer

क्लासिक तरीका

def extract_data():
    return {"users": 150, "events": 4200}


with DAG("etl_pipeline") as dag:
    t1 = PythonOperator(task_id="extract",
                        python_callable=extract_data)
    t2 = PythonOperator(task_id="summary",
                        python_callable=print_summary)

    t1 >> t2

TaskFlow तरीका

from airflow.sdk import dag, task


@dag
def etl_pipeline():
    @task
    def extract_data():
        return {"users": 150}


    data = extract_data()
    print_summary(data)

क्यों TaskFlow?

कम बोइलरप्लेट, डेकोरेटर्स ऑपरेटर इंस्टैंस की जगह लेते हैं
निहित डिपेंडेंसी, रिटर्न वैल्यू से टास्क अपने-आप जुड़ते हैं
पढ़ने में आसान, Dag एक Python स्क्रिप्ट जैसा लगता है
क्लासिक ऑपरेटर्स अभी भी प्रोवाइडर इंटेग्रेशन के लिए उपलब्ध हैं

TaskFlow API - visual

Airflow UI: Grid view

Airflow Grid view

हर कॉलम एक Dag run है
हर पंक्ति एक टास्क है
रंग स्टेटस दिखाते हैं: green = success, red = failed
किसी स्क्वेयर पर क्लिक करें और लॉग व विवरण देखें

Airflow UI: Graph view

Airflow Grid view

एक समय में एक Dag run पर फोकस
डिपेंडेंसी और पैरेलल execution दिखाता है
सेटिंग्स में विवरण समायोजित करें

Airflow UI: Dag versioning

Dag version indicator in Airflow UI

स्ट्रक्चरल बदलाव स्वतः ट्रैक होते हैं
हर रन उस समय की सक्रिय वर्ज़न से लिंक होता है
वर्ज़न Dag details पैनल में मिलते हैं

अभ्यास करते हैं!

Airflow के साथ Data Pipelines बनाना