वर्कफ़्लो शेड्यूलिंग फ़्रेमवर्क्स

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

एक उदाहरण पाइपलाइन

 

स्पार्क से CSV निकालने वाली एक सरल पाइपलाइन का उदाहरण

शेड्यूल कैसे करें?

  • मैन्युअल रूप से
  • cron शेड्यूलिंग टूल
  • डिपेंडेंसी का क्या?
Introduction to Data Engineering

DAGs

Directed Acyclic Graph

  • नोड्स का सेट
  • डायरेक्टेड एजेस
  • कोई साइकल नहीं

DAG का उदाहरण

Introduction to Data Engineering

काम के टूल्स

 

  • Linux का cron
  • Spotify का Luigi
  • Apache Airflow
Introduction to Data Engineering

Apache Airflow का लोगो

  • Airbnb में बनाया गया
  • DAGs
  • Python
Introduction to Data Engineering

Airflow: एक उदाहरण DAG

 

Airflow DAG का उदाहरण

Introduction to Data Engineering

Airflow: कोड में एक उदाहरण

# Create the DAG object
dag = DAG(dag_id="example_dag", ..., schedule_interval="0 * * * *")

# Define operations start_cluster = StartClusterOperator(task_id="start_cluster", dag=dag) ingest_customer_data = SparkJobOperator(task_id="ingest_customer_data", dag=dag) ingest_product_data = SparkJobOperator(task_id="ingest_product_data", dag=dag) enrich_customer_data = PythonOperator(task_id="enrich_customer_data", ..., dag = dag)
# Set up dependency flow start_cluster.set_downstream(ingest_customer_data) ingest_customer_data.set_downstream(enrich_customer_data) ingest_product_data.set_downstream(enrich_customer_data)
Introduction to Data Engineering

अभ्यास करते हैं!

Introduction to Data Engineering

Preparing Video For Download...