वर्कफ़्लो शेड्यूलिंग फ़्रेमवर्क

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

एक उदाहरण पाइपलाइन

Spark का उपयोग करके CSV से एक्सट्रैक्ट करने वाली सरल पाइपलाइन का उदाहरण

कैसे शेड्यूल करें?

मैन्युअली
cron शेड्यूलिंग टूल
डिपेंडेंसीज़ का क्या?

DAGs

Directed Acyclic Graph

नोड्स का सेट
डायरेक्टेड एजेज़
कोई साइकिल नहीं

DAG का उदाहरण

काम के औज़ार

Linux का cron
Prefect और Dagster
Apache Airflow

Apache Airflow का लोगो

Airbnb में बनाया गया
DAGs
Python

Airflow: एक उदाहरण DAG

Airflow DAG का उदाहरण

Airflow: कोड में एक उदाहरण

@dag(dag_id="example_dag",
     start_date=datetime(2024, 1, 1),
     schedule="0 * * * *")
def example_dag():

    @task
    def start_cluster(): ...
    @task
    def ingest_customer_data(): ...
    @task
    def ingest_product_data(): ...
    @task
    def enrich_customer_data(): ...

Airflow: कोड में एक उदाहरण

@dag(dag_id="example_dag", ...)
def example_dag():
    ...
    # Set up dependency flow
    cluster = start_cluster()
    customers = ingest_customer_data()
    products = ingest_product_data()
    cluster >> [customers, products]
    [customers, products] >> enrich_customer_data()
# Run the DAG
example_dag()

अभ्यास करते हैं!

Introduction to Data Engineering