Dallandırma

Python ile Apache Airflow'a Giriş

Mike Metzger

Data Engineer

Dallandırma

Airflow'da dallandırma:

  • Koşullu mantık sağlar
  • BranchPythonOperator kullanır
  • from airflow.operators.python import BranchPythonOperator
  • Sonraki görev kimliğini (veya kimlik listesi) döndürmek için bir python_callable alır
Python ile Apache Airflow'a Giriş

Dallandırma örneği

def branch_test(**kwargs):
  if int(kwargs['ds_nodash']) % 2 == 0:
    return 'even_day_task'
  else:
    return 'odd_day_task'
Python ile Apache Airflow'a Giriş

Dallandırma örneği

def branch_test(**kwargs):
  if int(kwargs['ds_nodash']) % 2 == 0:
    return 'even_day_task'
  else:
    return 'odd_day_task'

branch_task = BranchPythonOperator(task_id='branch_task',dag=dag, provide_context=True, python_callable=branch_test)
start_task >> branch_task >> even_day_task >> even_day_task2
branch_task >> odd_day_task >> odd_day_task2
Python ile Apache Airflow'a Giriş

Dallandırma grafik görünümü

Dallandırma DAG grafik görünümü

Python ile Apache Airflow'a Giriş

Çift günlerde dallandırma

Dallandırma grafik görünümü - çift günler

Python ile Apache Airflow'a Giriş

Tek günlerde dallandırma

Dallandırma grafik görünümü - tek günler

Python ile Apache Airflow'a Giriş

Haydi pratik yapalım!

Python ile Apache Airflow'a Giriş

Preparing Video For Download...