Airflow'da hata ayıklama ve sorun giderme

Python ile Apache Airflow’a Giriş

Mike Metzger

Data Engineer

Yaygın sorunlar

Dag zamanında çalışmıyor
Dag yüklenmiyor
Sözdizimi hataları

Yaygın Airflow sorun giderme konularını gösteren illüstrasyon

Dag zamanında çalışmıyor

En az bir schedule dönemi henüz geçmedi
- Gereksinimlerinize göre öznitelikleri düzenleyin
Çalıştırmak için yeterli kaynak yok
- Sistem kaynaklarını artırın
- Daha fazla sistem ekleyin
- Dag zamanlamasını değiştirin

Dag yüklenmiyor

Dag web UI'da yok
Dag airflow dags list içinde yok

Olası çözümler

Dag dosyasının doğru klasörde olduğunu doğrulayın (Dags klasörü dışındakiler ayrıştırılmaz)
airflow info ile Dags klasörünü belirleyin

dags_folder yolunu vurgulayan airflow info terminal çıktısı

Sözdizimi hataları

Bir Dag dosyasının görünmemesinin en yaygın nedeni
Dag içindeki hataları bulmak bazen zordur
Üç hızlı yöntem:
- Hatalar açılır penceresi için Airflow UI'ı kontrol edin
- airflow dags list-import-errors çalıştırın
- python3 <dagfile.py> çalıştırın

Airflow UI içe aktarma hataları

Bir Dag içe aktarma hatası uyarısını gösteren Airflow karşılama sayfası

Dag traceback mesajını gösteren Airflow içe aktarma hatası ayrıntısı

airflow dags list-import-errors

airflow dags list-import-errors çıktısını gösteren terminal, bir hata ile

airflow dags reserialize

Dag değişiklikleri hemen görünmeyebilir
Varsayılan olarak Airflow, Dag güncellemelerini her 5 dakikada bir denetler
airflow dags reserialize ile zorla yeniden denetleyebilirsiniz

Dag yenilemeyi zorlamak için airflow dags reserialize çalıştırılan terminal

Python yorumlayıcısını çalıştırma

python3 dagfile.py:

Hatalı

python3 ile bir Dag dosyası çalıştırıldığında oluşan Python sözdizimi hatasını gösteren terminal

Hatasız

python3 ile bir Dag dosyası hatasız çalıştırıldıktan sonra komut istemine dönen terminal

Hadi pratik yapalım!

Python ile Apache Airflow’a Giriş

Preparing Video For Download...