Membuat pipeline produksi

Pengantar Apache Airflow dengan Python

Mike Metzger

Data Engineer

Menjalankan DAG & Task

Untuk menjalankan task tertentu dari command-line:

airflow tasks test <dag_id> <task_id> <date>

Untuk menjalankan seluruh DAG:

airflow dags trigger -e <date> <dag_id>
Pengantar Apache Airflow dengan Python

Pengingat operator

  • BashOperator - memerlukan bash_command
  • PythonOperator - memerlukan python_callable
  • BranchPythonOperator - memerlukan python_callable dan provide_context=True. Callable harus menerima **kwargs.
  • FileSensor - memerlukan argumen filepath dan mungkin butuh atribut mode atau poke_interval
Pengantar Apache Airflow dengan Python

Pengingat template

  • Banyak objek di Airflow dapat menggunakan template
  • Bidang tertentu dapat memakai string bertemplate, yang lain tidak
  • Salah satu cara memeriksa adalah memakai dokumentasi bawaan:
  1. Buka interpreter python3
  2. Impor pustaka yang diperlukan (mis., from airflow.operators.bash import BashOperator)
  3. Pada prompt, jalankan help(<objek Airflow>), mis., help(BashOperator)
  4. Cari baris yang merujuk ke template_fields. Ini akan menunjukkan argumen yang dapat memakai template.
Pengantar Apache Airflow dengan Python

Contoh dokumentasi template

Bantuan python3 Airflow

Bantuan template Airflow

Pengantar Apache Airflow dengan Python

Ayo berlatih!

Pengantar Apache Airflow dengan Python

Preparing Video For Download...