Debugging und Troubleshooting in Airflow

Einführung in Apache Airflow mit Python

Mike Metzger

Data Engineer

Typische Probleme …

  • DAG läuft nicht nach Plan
  • DAG lädt nicht
  • Syntaxfehler
Einführung in Apache Airflow mit Python

DAG läuft nicht nach Plan

  • Prüfe, ob der Scheduler läuft

Airflow-Scheduler läuft nicht

  • Beheben, indem du airflow scheduler in der Kommandozeile startest.
Einführung in Apache Airflow mit Python

DAG läuft nicht nach Plan (Teil 2)

  • Mindestens ein schedule_interval ist noch nicht verstrichen.
    • Attribute anpassen, bis es passt.
  • Nicht genug freie Tasks im Executor.
    • Executor-Typ ändern
    • Systemressourcen erhöhen
    • Mehr Systeme hinzufügen
    • DAG-Scheduling anpassen
Einführung in Apache Airflow mit Python

DAG lädt nicht

  • DAG nicht in der Weboberfläche
  • DAG nicht in airflow dags list

Mögliche Lösungen

  • Prüfe, ob die DAG-Datei im richtigen Ordner liegt
  • Ermittle den DAGs-Ordner über airflow.cfg
  • Hinweis: Der Ordner muss ein absoluter Pfad sein

Airflow dags_folder

Einführung in Apache Airflow mit Python

Syntaxfehler

  • Häufigster Grund, warum eine DAG-Datei nicht erscheint
  • Fehler in DAGs sind teils schwer zu finden

  • Zwei schnelle Methoden:

    • airflow dags list-import-errors ausführen

    • python3 <dagfile.py> ausführen

Einführung in Apache Airflow mit Python

airflow dags list-import-errors

airflow dags list-import-errors mit Fehlern

Einführung in Apache Airflow mit Python

Den Python-Interpreter ausführen

python3 dagfile.py:

  • Mit Fehlern

python3 - Fehler

  • Ohne Fehler

python3 - keine Fehler

Einführung in Apache Airflow mit Python

Lass uns üben!

Einführung in Apache Airflow mit Python

Preparing Video For Download...