Airflow'da hata ayıklama ve sorun giderme

Python ile Apache Airflow'a Giriş

Mike Metzger

Data Engineer

Tipik sorunlar...

  • DAG zamanlamada çalışmıyor
  • DAG yüklenmiyor
  • Sözdizimi hataları
Python ile Apache Airflow'a Giriş

DAG zamanlamada çalışmıyor

  • Zamanlayıcı çalışıyor mu kontrol edin

Airflow zamanlayıcı çalışmıyor

  • Komut satırından airflow scheduler çalıştırarak düzeltin.
Python ile Apache Airflow'a Giriş

DAG zamanlamada çalışmıyor (bölüm 2)

  • En az bir schedule_interval henüz geçmedi.
    • Gereksinimlerinize göre öznitelikleri değiştirin.
  • Yürütücüde çalışacak yeterli boş görev yok.
    • Yürütücü türünü değiştirin
    • Sistem kaynakları ekleyin
    • Daha fazla sistem ekleyin
    • DAG zamanlamasını değiştirin
Python ile Apache Airflow'a Giriş

DAG yüklenmiyor

  • DAG web arayüzünde yok
  • airflow dags list içinde yok

Olası çözümler

  • DAG dosyasının doğru klasörde olduğunu doğrulayın
  • airflow.cfg ile DAG'ler klasörünü belirleyin
  • Klasör mutlak yol olmalıdır

Airflow dags_folder

Python ile Apache Airflow'a Giriş

Sözdizimi hataları

  • Bir DAG dosyasının görünmemesinin en yaygın nedeni
  • DAG içindeki hataları bulmak bazen zordur

  • İki hızlı yöntem:

    • airflow dags list-import-errors komutunu çalıştırın

    • python3 <dagfile.py> komutunu çalıştırın

Python ile Apache Airflow'a Giriş

airflow dags list-import-errors

hatalarla airflow dags list-import-errors

Python ile Apache Airflow'a Giriş

Python yorumlayıcısını çalıştırma

python3 dagfile.py:

  • Hatalı

python3 - hatalar

  • Hatasız

python3 - hata yok

Python ile Apache Airflow'a Giriş

Hadi pratik yapalım!

Python ile Apache Airflow'a Giriş

Preparing Video For Download...