Förgrening

Introduktion till Apache Airflow i Python

Mike Metzger

Data Engineer

Förgrening

Tillhandahåller villkorsstyrd logik (dvs. om -> då för uppgifter)
Används med @task.branch
Kör en Python-funktion som returnerar nästa uppgifts-id (eller lista med id:n)

Förgreningsexempel

@task.branch
def branch_task(logical_date):
  if int(logical_date.month) % 3 == 0:
    # Months 3 - March, 6 - June, 9 - September, 12 - December
    return 'end_of_quarter_task'
  else:
    # All other months
    return 'regular_monthly_task'

Förgreningsexempel

@task.branch
def branch_task(logical_date):
  if int(logical_date.month) % 3 == 0:
    # Months 3 - March, 6 - June, 9 - September, 12 - December
    return 'end_of_quarter_task'
  else:
    # All other months
    return 'regular_monthly_task'


start_task >> branch_task >> end_of_quarter_task >> end_of_quarter_task2

branch_task >> regular_monthly_task >> regular_monthly_task2

Grafvy för förgrening

Airflow-grafvy över en förgrenings-DAG med två nedströms uppgiftsvägar

Förgrening – kvartalsslutsmånader

Airflow-grafvy där kvartalsslutsuppgifterna körs och månadsuppgifterna hoppas över

Förgrening – vanliga månader

Airflow-grafvy där vanliga månadsuppgifterna körs och kvartalsslutsuppgifterna hoppas över

Datumvariabler

ds – Logiskt datum med bindestreck ÅÅÅÅ-MM-DD
ds_nodash – Logiskt datum utan bindestreck ÅÅÅÅMMDD
prev_data_interval_start_success – Datum för senaste lyckade DAG-körning
Många fler – se Airflows variabeldokumentation

¹ https://airflow.apache.org/docs/apache-airflow/stable/templates-ref.html#templates-variables

Nu kör vi en övning!

Introduktion till Apache Airflow i Python