Branching

Pengantar Apache Airflow dengan Python

Mike Metzger

Data Engineer

Branching

Menyediakan logika kondisional (mis., if -> then untuk tugas)
Menggunakan @task.branch
Menjalankan fungsi Python yang mengembalikan id tugas berikutnya (atau daftar id) yang diikuti

Contoh branching

@task.branch
def branch_task(logical_date):
  if int(logical_date.month) % 3 == 0:
    # Months 3 - March, 6 - June, 9 - September, 12 - December
    return 'end_of_quarter_task'
  else:
    # All other months
    return 'regular_monthly_task'

Contoh branching

@task.branch
def branch_task(logical_date):
  if int(logical_date.month) % 3 == 0:
    # Months 3 - March, 6 - June, 9 - September, 12 - December
    return 'end_of_quarter_task'
  else:
    # All other months
    return 'regular_monthly_task'


start_task >> branch_task >> end_of_quarter_task >> end_of_quarter_task2

branch_task >> regular_monthly_task >> regular_monthly_task2

Tampilan graf branching

Tampilan graf Airflow dari Dag bercabang dengan dua jalur tugas downstream

Branching Bulan akhir kuartal

Tampilan graf Airflow dengan tugas akhir kuartal berjalan dan tugas bulanan dilewati

Branching Bulan reguler

Tampilan graf Airflow dengan tugas bulanan reguler berjalan dan tugas akhir kuartal dilewati

Variabel tanggal

ds - Tanggal logis dengan tanda hubung YYYY-MM-DD
ds_nodash - Tanggal logis tanpa tanda hubung YYYYMMDD
prev_data_interval_start_success - Tanggal Dag terakhir yang sukses
Lainnya - lihat dokumentasi variabel Airflow

¹ https://airflow.apache.org/docs/apache-airflow/stable/templates-ref.html#templates-variables

Ayo berlatih!

Pengantar Apache Airflow dengan Python