Airflow görevleri

Python ile Apache Airflow'a Giriş

Mike Metzger

Data Engineer

Görevler

Görevler şunlardır:

Operatör örnekleri

Genelde Python’da bir değişkene atanır

example_task = BashOperator(task_id='bash_example',
                          bash_command='echo "Example!"')

Airflow araçlarında task_id ile anılır

Görev bağımlılıkları

Görev tamamlama sırasını belirler
Bir iş akışı için zorunlu değildir, ancak genelde bulunur
Upstream veya downstream görevler olarak anılır
Airflow 1.8+’da bitshift operatörleriyle tanımlanır
- >>, upstream operatörü
- <<, downstream operatörü

Upstream vs Downstream

Upstream, önce demektir

Downstream, sonra demektir

Basit görev bağımlılığı

# Define the tasks
task1 = BashOperator(task_id='first_task',
                     bash_command='echo 1'
                    )


task2 = BashOperator(task_id='second_task',
                     bash_command='echo 2'
                    )


# Set first_task to run before second_task
task1 >> task2   # or task2 << task1