Diramazione

Introduzione ad Apache Airflow in Python

Mike Metzger

Data Engineer

Diramazione

Fornisce logica condizionale (es. if -> then per i task)
Usando @task.branch
Esegue una funzione Python che restituisce l’id del prossimo task (o una lista di id) da seguire

Esempio di diramazione

@task.branch
def branch_task(logical_date):
  if int(logical_date.month) % 3 == 0:
    # Months 3 - March, 6 - June, 9 - September, 12 - December
    return 'end_of_quarter_task'
  else:
    # All other months
    return 'regular_monthly_task'

Esempio di diramazione

@task.branch
def branch_task(logical_date):
  if int(logical_date.month) % 3 == 0:
    # Months 3 - March, 6 - June, 9 - September, 12 - December
    return 'end_of_quarter_task'
  else:
    # All other months
    return 'regular_monthly_task'


start_task >> branch_task >> end_of_quarter_task >> end_of_quarter_task2

branch_task >> regular_monthly_task >> regular_monthly_task2

Vista grafico diramazione

Vista grafico di Airflow di un Dag con diramazione e due percorsi a valle

Diramazione Mesi di fine trimestre

Vista grafico di Airflow con attività di fine trimestre eseguite e attività mensili saltate

Diramazione Mesi normali

Vista grafico di Airflow con attività mensili eseguite e attività di fine trimestre saltate

Variabili di data

ds - Data logica con trattini YYYY-MM-DD
ds_nodash - Data logica senza trattini YYYYMMDD
prev_data_interval_start_success - Data dell’ultimo Dag riuscito
Molte altre - vedi documentazione variabili Airflow

¹ https://airflow.apache.org/docs/apache-airflow/stable/templates-ref.html#templates-variables

Ayo berlatih!

Introduzione ad Apache Airflow in Python