Membuat pipeline produksi

Pengantar Apache Airflow dengan Python

Mike Metzger

Data Engineer

Menjalankan Dag dan task

Untuk menjalankan tugas tertentu dari command line:

airflow tasks test <dag_id> <task_id> <date>

Untuk menjalankan seluruh Dag:

airflow dags trigger --logical-date <date> <dag_id>
Pengantar Apache Airflow dengan Python

Pengingat task

  • @task - Menetapkan fungsi Python sebagai task Airflow
  • @task.bash - Mengembalikan output perintah bash sebagai hasil task Airflow
  • @task.branch - Operator branching untuk memilih saat runtime dalam Dag
  • FileSensor - memerlukan argumen filepath dan mungkin butuh atribut mode atau poke_interval
Pengantar Apache Airflow dengan Python

Pengingat template

  • Banyak objek di Airflow dapat memakai template
  • Bidang tertentu bisa memakai string template, yang lain tidak
  • Cara mengeceknya dengan dokumentasi bawaan:
  1. Buka interpreter python3
  2. Impor pustaka yang diperlukan (mis., from airflow.sdk import dag, task)
  3. Di prompt, jalankan help(<Airflow object>), mis., help(task)
  4. Cari baris yang menyebut template_fields. Ini menunjukkan argumen yang bisa memakai template.
Pengantar Apache Airflow dengan Python

Contoh dokumentasi template

Tampilan terminal menunjukkan output help python3 untuk objek Airflow

Output terminal menyorot baris template_fields di help Airflow

Pengantar Apache Airflow dengan Python

Bekerja dengan Airflow

Ilustrasi membuat, menjadwalkan, dan memantau workflow

Logo Apache Airflow

Pengantar Apache Airflow dengan Python

Ayo berlatih!

Pengantar Apache Airflow dengan Python

Preparing Video For Download...