Debugging dan pemecahan masalah di Airflow

Pengantar Apache Airflow dengan Python

Mike Metzger

Data Engineer

Masalah umum

Dag tidak berjalan sesuai jadwal
Dag tidak dimuat
Error sintaks

Ilustrasi yang menunjukkan masalah pemecahan masalah Airflow umum

Dag tidak berjalan sesuai jadwal

Setidaknya satu periode schedule belum berlalu
- Ubah atribut sesuai kebutuhan Anda
Sumber daya tidak mencukupi untuk berjalan
- Tambah sumber daya sistem
- Tambah lebih banyak sistem
- Ubah penjadwalan Dag

Dag tidak dimuat

Dag tidak ada di web UI
Dag tidak ada di airflow dags list

Solusi yang mungkin

Pastikan file Dag ada di folder yang benar (file Dag tidak diparse di luar folder Dags)
Cari folder Dags lewat airflow info

Keluaran terminal airflow info menyoroti path dags_folder

Error sintaks

Alasan paling umum file Dag tidak muncul
Kadang sulit menemukan error dalam Dag
Tiga cara cepat:
- Periksa UI Airflow untuk popup error
- Jalankan airflow dags list-import-errors
- Jalankan python3 <dagfile.py>

Error impor di UI Airflow

Halaman selamat datang Airflow menampilkan peringatan error impor Dag

Detail error impor Airflow menampilkan pesan traceback Dag

airflow dags list-import-errors

Keluaran terminal airflow dags list-import-errors yang menampilkan error

airflow dags reserialize

Perubahan Dag mungkin tidak langsung terlihat
Secara default, Airflow memeriksa pembaruan Dag tiap 5 menit
Paksa pemeriksaan ulang dengan airflow dags reserialize

Terminal menjalankan airflow dags reserialize untuk memaksa penyegaran Dag

Menjalankan interpreter Python

python3 dagfile.py:

Dengan error

Terminal menampilkan error sintaks Python saat menjalankan file Dag dengan python3

Tanpa error

Terminal kembali ke prompt setelah menjalankan file Dag dengan python3 tanpa error

Ayo berlatih!

Pengantar Apache Airflow dengan Python

Preparing Video For Download...