Depanare și rezolvarea problemelor în Airflow

Introducere în Apache Airflow în Python

Mike Metzger

Data Engineer

Probleme frecvente

  • Dag-ul nu rulează conform programării
  • Dag-ul nu se încarcă
  • Erori de sintaxă

Ilustrație reprezentând probleme frecvente de depanare în Airflow

Introducere în Apache Airflow în Python

Dag-ul nu rulează conform programării

  • Cel puțin un interval schedule nu a trecut
    • Modificați atributele pentru a îndeplini cerințele
  • Resurse insuficiente pentru rulare
    • Adăugați resurse de sistem
    • Adăugați mai multe sisteme
    • Modificați programarea Dag-ului
Introducere în Apache Airflow în Python

Dag-ul nu se încarcă

  • Dag-ul lipsește din interfața web
  • Dag-ul lipsește din airflow dags list

Soluții posibile

  • Verificați că fișierul Dag se află în folderul corect (fișierele Dag nu sunt parsate în afara folderului Dags)
  • Determinați folderul Dags cu airflow info

Ieșire terminal pentru airflow info cu evidențierea căii dags_folder

Introducere în Apache Airflow în Python

Erori de sintaxă

  • Cel mai frecvent motiv pentru care un fișier Dag nu apare
  • Erorile din Dag pot fi greu de identificat

  • Trei metode rapide:

    • Verificați erorile din interfața Airflow

    • Rulați airflow dags list-import-errors

    • Rulați python3 <dagfile.py>

Introducere în Apache Airflow în Python

Erori de import în interfața Airflow

Pagina de start Airflow cu o alertă de eroare la importul Dag-ului

Detaliu eroare de import Airflow cu mesajul traceback al Dag-ului

Introducere în Apache Airflow în Python

airflow dags list-import-errors

Ieșire terminal pentru airflow dags list-import-errors cu o eroare

Introducere în Apache Airflow în Python

airflow dags reserialize

  • Modificările Dag-ului pot să nu apară imediat
  • Implicit, Airflow verifică actualizările la fiecare 5 minute
  • Reîncărcarea forțată se face cu airflow dags reserialize

Terminal cu airflow dags reserialize pentru reîncărcarea forțată a unui Dag

Introducere în Apache Airflow în Python

Rularea interpretorului Python

python3 dagfile.py:

  • Cu erori

Terminal cu o eroare de sintaxă Python la rularea unui fișier Dag cu python3

  • Fără erori

Terminal revenind la prompt după rularea unui fișier Dag cu python3 fără erori

Introducere în Apache Airflow în Python

Să exersăm!

Introducere în Apache Airflow în Python

Preparing Video For Download...