सारांश

Airflow के साथ Data Pipelines बनाना

Volker Janz

Developer Advocate at Astronomer

आपने क्या बनाया

कोर्स यात्रा: 4 अध्याय, प्रोडक्शन पाइपलाइनों तक

  • TaskFlow API से Dags लिखे और XCom से डेटा पास किया
  • टास्क मैपिंग, एसेट्स, और HITL वर्कफ़्लोज़ से डायनेमिक वर्कफ़्लोज़ बनाए
  • रिट्राइज़, डिफरेबल ऑपरेटर, और टेस्ट्स से Dags को प्रोडक्शन-रेडी किया
  • पार्टिशन और क्वालिटी गेट्स के साथ SQL वर्कलोड्स ऑर्केस्ट्रेट किए
Airflow के साथ Data Pipelines बनाना

आपका टूलकिट

अध्याय 1: फ़ाउंडेशंस

  • @dag, @task, TaskFlow API
  • XCom, .output, डेटा पास करना
  • Dag वर्ज़निंग, शेड्यूलिंग स्ट्रैटेजीज़

अध्याय 2: एडवांस्ड ऑथरिंग

  • .expand(), .partial(), डायनेमिक टास्क मैपिंग
  • Asset, आउटलेट्स, schedule=[Asset], डेटा-अवेयर शेड्यूलिंग
  • {{ ds }}, आइडेम्पोटेंसी, ह्यूमन-इन-द-लूप

अध्याय 3: प्रोडक्शन-रेडी

  • retries, on_failure_callback, डेडलाइन अलर्ट्स
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

अध्याय 4: SQL वर्कलोड्स

  • SQLExecuteQueryOperator के साथ SQL
  • CronPartitionTimetable, PartitionedAssetTimetable
  • डेटा क्वालिटी, CLI, Airflow को प्रोडक्शन में लाना
Airflow के साथ Data Pipelines बनाना

आज ही बनाना शुरू करें

आज ही बनाना शुरू करें

$$

Airflow के साथ Data Pipelines बनाना

हैप्पी बिल्डिंग!

Airflow के साथ Data Pipelines बनाना

Preparing Video For Download...