Airflow-taken

Introductie tot Apache Airflow in Python

Mike Metzger

Data Engineer

Taken

Taken zijn:

Instanties van operators

Meestal toegewezen aan een variabele in Python

example_task = BashOperator(task_id='bash_example',
                          bash_command='echo "Example!"')

Binnen Airflow-tools aangeduid via task_id

Taakafhankelijkheden

Bepalen de volgorde van taakafronding
Niet verplicht voor een workflow, maar meestal wel aanwezig
Heet upstream of downstream taken
In Airflow 1.8 en later gedefinieerd met bitshift-operators
- >>, de upstream-operator
- <<, de downstream-operator

Upstream vs. downstream

Upstream betekent ervoor

Downstream betekent erna

Eenvoudige taakafhankelijkheid

# Define the tasks
task1 = BashOperator(task_id='first_task',
                     bash_command='echo 1'
                    )


task2 = BashOperator(task_id='second_task',
                     bash_command='echo 2'
                    )


# Set first_task to run before second_task
task1 >> task2   # or task2 << task1