Debugging dan troubleshooting di Airflow

Pengantar Apache Airflow dengan Python

Mike Metzger

Data Engineer

Masalah umum...

  • DAG tidak berjalan sesuai jadwal
  • DAG tidak dimuat
  • Error sintaks
Pengantar Apache Airflow dengan Python

DAG tidak berjalan sesuai jadwal

  • Periksa apakah scheduler berjalan

Scheduler Airflow tidak berjalan

  • Perbaiki dengan menjalankan airflow scheduler dari command line.
Pengantar Apache Airflow dengan Python

DAG tidak berjalan sesuai jadwal (bagian 2)

  • Setidaknya satu schedule_interval belum lewat.
    • Ubah atribut agar sesuai kebutuhan.
  • Tidak cukup tugas bebas di executor untuk berjalan.
    • Ganti tipe executor
    • Tambah sumber daya sistem
    • Tambah lebih banyak sistem
    • Ubah penjadwalan DAG
Pengantar Apache Airflow dengan Python

DAG tidak dimuat

  • DAG tidak ada di web UI
  • DAG tidak ada di airflow dags list

Solusi yang mungkin

  • Pastikan file DAG di folder yang benar
  • Cek folder DAG via airflow.cfg
  • Catatan: path harus absolut

Airflow dags_folder

Pengantar Apache Airflow dengan Python

Error sintaks

  • Alasan paling umum file DAG tidak muncul
  • Kadang sulit menemukan error di DAG

  • Dua cara cepat:

    • Jalankan airflow dags list-import-errors

    • Jalankan python3 <dagfile.py>

Pengantar Apache Airflow dengan Python

airflow dags list-import-errors

airflow dags list-import-errors dengan error

Pengantar Apache Airflow dengan Python

Menjalankan interpreter Python

python3 dagfile.py:

  • Dengan error

python3 - error

  • Tanpa error

python3 - tanpa error

Pengantar Apache Airflow dengan Python

Ayo berlatih!

Pengantar Apache Airflow dengan Python

Preparing Video For Download...