Tugas Airflow

Pengantar Apache Airflow dengan Python

Mike Metzger

Data Engineer

Tugas

Task adalah:

Instans operator

Biasanya disimpan ke variabel di Python

example_task = BashOperator(task_id='bash_example',
                          bash_command='echo "Example!"')

Dirujuk dengan task_id di alat Airflow

Dependensi tugas

Menetapkan urutan penyelesaian tugas
Tidak wajib untuk setiap alur kerja, tetapi umumnya ada
Disebut sebagai tugas upstream atau downstream
Di Airflow 1.8+, didefinisikan dengan operator bitshift
- >>, operator upstream
- <<, operator downstream

Upstream vs Downstream

Upstream berarti sebelum

Downstream berarti sesudah

Dependensi tugas sederhana

# Definisikan tugas
task1 = BashOperator(task_id='first_task',
                     bash_command='echo 1'
                    )


task2 = BashOperator(task_id='second_task',
                     bash_command='echo 2'
                    )


# Jalankan first_task sebelum second_task
task1 >> task2   # atau task2 << task1