Debugging dan pemecahan masalah di Airflow

Pengantar Apache Airflow dengan Python

Mike Metzger

Data Engineer

Masalah umum

  • Dag tidak berjalan sesuai jadwal
  • Dag tidak dimuat
  • Error sintaks

Ilustrasi yang menunjukkan masalah pemecahan masalah Airflow umum

Pengantar Apache Airflow dengan Python

Dag tidak berjalan sesuai jadwal

  • Setidaknya satu periode schedule belum berlalu
    • Ubah atribut sesuai kebutuhan Anda
  • Sumber daya tidak mencukupi untuk berjalan
    • Tambah sumber daya sistem
    • Tambah lebih banyak sistem
    • Ubah penjadwalan Dag
Pengantar Apache Airflow dengan Python

Dag tidak dimuat

  • Dag tidak ada di web UI
  • Dag tidak ada di airflow dags list

Solusi yang mungkin

  • Pastikan file Dag ada di folder yang benar (file Dag tidak diparse di luar folder Dags)
  • Cari folder Dags lewat airflow info

Keluaran terminal airflow info menyoroti path dags_folder

Pengantar Apache Airflow dengan Python

Error sintaks

  • Alasan paling umum file Dag tidak muncul
  • Kadang sulit menemukan error dalam Dag
  • Tiga cara cepat:

    • Periksa UI Airflow untuk popup error

    • Jalankan airflow dags list-import-errors

    • Jalankan python3 <dagfile.py>

Pengantar Apache Airflow dengan Python

Error impor di UI Airflow

Halaman selamat datang Airflow menampilkan peringatan error impor Dag

Detail error impor Airflow menampilkan pesan traceback Dag

Pengantar Apache Airflow dengan Python

airflow dags list-import-errors

Keluaran terminal airflow dags list-import-errors yang menampilkan error

Pengantar Apache Airflow dengan Python

airflow dags reserialize

  • Perubahan Dag mungkin tidak langsung terlihat
  • Secara default, Airflow memeriksa pembaruan Dag tiap 5 menit
  • Paksa pemeriksaan ulang dengan airflow dags reserialize

Terminal menjalankan airflow dags reserialize untuk memaksa penyegaran Dag

Pengantar Apache Airflow dengan Python

Menjalankan interpreter Python

python3 dagfile.py:

  • Dengan error

Terminal menampilkan error sintaks Python saat menjalankan file Dag dengan python3

  • Tanpa error

Terminal kembali ke prompt setelah menjalankan file Dag dengan python3 tanpa error

Pengantar Apache Airflow dengan Python

Ayo berlatih!

Pengantar Apache Airflow dengan Python

Preparing Video For Download...