Tareas de Airflow

Introducción a Apache Airflow en Python

Mike Metzger

Data Engineer

Tareas

Las tareas son:

Instancias de operadores

Normalmente se asignan a una variable en Python

example_task = BashOperator(task_id='bash_example',
                          bash_command='echo "Example!"')

Se referencian por su task_id en las herramientas de Airflow

Dependencias de tareas

Definen un orden de ejecución de tareas
No son obligatorias en un flujo, pero suelen estar presentes
Se llaman tareas upstream o downstream
En Airflow 1.8 o posterior, se definen con los operadores de bitshift
- >>, operador upstream
- <<, operador downstream

Upstream vs Downstream

Upstream significa antes

Downstream significa después

Dependencia simple entre tareas

# Define the tasks
task1 = BashOperator(task_id='first_task',
                     bash_command='echo 1'
                    )


task2 = BashOperator(task_id='second_task',
                     bash_command='echo 2'
                    )


# Set first_task to run before second_task
task1 >> task2   # or task2 << task1