Orchestration

Understanding Modern Data Architecture

Miller Trujillo

Senior Software Engineer

Orchestration क्या है?

5 टेबल्स प्रोसेस करने का हाई-लेवल वर्कफ़्लो

  • कई jobs को समन्वित करें
  • जटिल वर्कफ़्लो की ऑटोमेटेड कॉन्फ़िगरेशन और कोऑर्डिनेशन।

Airflow का सैंपल DAG

  • मानव संसाधन मुक्त होते हैं
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Understanding Modern Data Architecture

Orchestration बनाम scheduling

Scheduling

  • निर्धारित अंतराल/समय पर tasks चलाएँ
  • ऑर्केस्ट्रेटेड वर्कफ़्लो का स्टार्टर

शेड्यूलिंग उदाहरण

Orchestration

जटिल वर्कफ़्लो को ऑटोमेट और कोऑर्डिनेट करें

ऑर्केस्ट्रेशन उदाहरण

Understanding Modern Data Architecture

Apache Airflow

Apache Airflow लोगो

  • Python के साथ जटिल वर्कफ़्लो को कोऑर्डिनेट करें
Understanding Modern Data Architecture

Orchestration के मुख्य कॉन्सेप्ट्स

  • Tasks:
    • निष्पादन की बेसिक यूनिट
  • Dependencies:
    • टास्क का क्रम निर्धारित करती हैं
  • Directed Acyclic Graph (DAG):
    • टास्क और उनकी dependencies का वर्कफ़्लो

Airflow DAG सैंपल

Understanding Modern Data Architecture

Orchestration के मुख्य कॉन्सेप्ट्स

  • Operators:
    • टास्क की प्रकृति तय करते हैं
    • BashOperator
    • PythonOperator
  • Sensors:
    • विशेष कंडीशन्स का इंतज़ार करते हैं
  • Scheduler
    • टास्क ट्रिगरिंग ऑटोमेट करता है।
Understanding Modern Data Architecture

अभ्यास करते हैं!

Understanding Modern Data Architecture

Preparing Video For Download...