Branching

Introductie tot Apache Airflow in Python

Mike Metzger

Data Engineer

Vertakken

Vertakken in Airflow:

Biedt voorwaardelijke logica
Met BranchPythonOperator
from airflow.operators.python import BranchPythonOperator
Neemt een python_callable die de volgende task-id (of lijst) retourneert

Voorbeeld van vertakken

def branch_test(**kwargs):
  if int(kwargs['ds_nodash']) % 2 == 0:
    return 'even_day_task'
  else:
    return 'odd_day_task'

Voorbeeld van vertakken

def branch_test(**kwargs):
  if int(kwargs['ds_nodash']) % 2 == 0:
    return 'even_day_task'
  else:
    return 'odd_day_task'


branch_task = BranchPythonOperator(task_id='branch_task',dag=dag,
       provide_context=True,
       python_callable=branch_test)


start_task >> branch_task >> even_day_task >> even_day_task2

branch_task >> odd_day_task >> odd_day_task2

Vertakkingsgrafiek

Vertakkings-DAG grafiekweergave

Vertakken op even dagen

Vertakkingsgrafiekweergave - even dagen

Vertakken op oneven dagen

Vertakkingsgrafiekweergave - oneven dagen

Laten we oefenen!

Introductie tot Apache Airflow in Python