Ramificación

Introducción a Apache Airflow en Python

Mike Metzger

Data Engineer

Ramificación

Aporta lógica condicional (p. ej., if -> then para tareas)
Usando @task.branch
Ejecuta una función de Python que devuelve el id de la(s) próxima(s) tarea(s)

Ejemplo de ramificación

@task.branch
def branch_task(logical_date):
  if int(logical_date.month) % 3 == 0:
    # Months 3 - March, 6 - June, 9 - September, 12 - December
    return 'end_of_quarter_task'
  else:
    # All other months
    return 'regular_monthly_task'

Ejemplo de ramificación

@task.branch
def branch_task(logical_date):
  if int(logical_date.month) % 3 == 0:
    # Months 3 - March, 6 - June, 9 - September, 12 - December
    return 'end_of_quarter_task'
  else:
    # All other months
    return 'regular_monthly_task'


start_task >> branch_task >> end_of_quarter_task >> end_of_quarter_task2

branch_task >> regular_monthly_task >> regular_monthly_task2

Vista de gráfico con ramificación

Vista de gráfico de Airflow de un DAG con ramificación y dos rutas de tareas posteriores

Ramificación Meses de fin de trimestre

Vista de gráfico de Airflow con tareas de fin de trimestre ejecutadas y las mensuales omitidas

Ramificación Meses normales

Vista de gráfico de Airflow con las tareas mensuales ejecutadas y las de fin de trimestre omitidas

Variables de fecha

ds - Fecha lógica con guiones YYYY-MM-DD
ds_nodash - Fecha lógica sin guiones YYYYMMDD
prev_data_interval_start_success - Fecha del último DAG correcto
Muchas más: consulta la documentación de variables de Airflow

¹ https://airflow.apache.org/docs/apache-airflow/stable/templates-ref.html#templates-variables

¡Vamos a practicar!

Introducción a Apache Airflow en Python