Eksekutor Airflow

Pengantar Apache Airflow dengan Python

Mike Metzger

Data Engineer

Apa itu eksekutor?

• Eksekutor menjalankan task
• Tiap eksekutor menangani eksekusi task dengan cara berbeda
• Contoh eksekutor:
  • SequentialExecutor
  • LocalExecutor
  • KubernetesExecutor

SequentialExecutor

• Eksekutor bawaan Airflow
• Menjalankan satu task dalam satu waktu
• Berguna untuk debugging
• Fungsional, namun tidak direkomendasikan untuk produksi

LocalExecutor

• Berjalan pada satu sistem
• Memperlakukan task sebagai proses
• Paralelisme ditentukan pengguna
• Dapat memakai semua sumber daya host

KubernetesExecutor

• Menggunakan Kubernetes sebagai pengelola task
• Bisa mendefinisikan banyak worker
• Jauh lebih sulit disiapkan & dikonfigurasi
• Sangat kuat untuk organisasi dengan alur kerja besar

Menentukan eksekutor Anda

• Melalui file airflow.cfg
• Cari baris executor=

Menentukan eksekutor Anda #2

• Melalui baris awal airflow info
• executor | SequentialExecutor

Ayo berlatih!

Pengantar Apache Airflow dengan Python