Débogage et dépannage dans Airflow

Introduction à Apache Airflow en Python

Mike Metzger

Data Engineer

Problèmes typiques…

  • Le DAG ne s’exécute pas selon la planification
  • Le DAG ne se charge pas
  • Erreurs de syntaxe
Introduction à Apache Airflow en Python

Le DAG ne s’exécute pas selon la planification

  • Vérifiez si le scheduler est en cours d’exécution

Scheduler Airflow non démarré

  • Corrigez en lançant airflow scheduler en ligne de commande.
Introduction à Apache Airflow en Python

Le DAG ne s’exécute pas… (suite)

  • Au moins un schedule_interval n’a pas encore passé.
    • Modifiez les attributs selon vos besoins.
  • Pas assez de tâches libres dans l’executor pour s’exécuter.
    • Changez le type d’executor
    • Ajoutez des ressources système
    • Ajoutez plus de systèmes
    • Modifiez la planification du DAG
Introduction à Apache Airflow en Python

Le DAG ne se charge pas

  • Le DAG n’apparaît pas dans l’interface Web
  • Le DAG absent de airflow dags list

Solutions possibles

  • Vérifiez que le fichier DAG est dans le bon dossier
  • Trouvez le dossier des DAGs via airflow.cfg
  • Le dossier doit être un chemin absolu

Airflow dags_folder

Introduction à Apache Airflow en Python

Erreurs de syntaxe

  • Raison la plus courante de l’absence d’un fichier DAG
  • Les erreurs dans un DAG sont parfois difficiles à trouver

  • Deux méthodes rapides :

    • Exécuter airflow dags list-import-errors

    • Exécuter python3 <dagfile.py>

Introduction à Apache Airflow en Python

airflow dags list-import-errors

airflow dags list-import-errors avec erreurs

Introduction à Apache Airflow en Python

Exécuter l’interpréteur Python

python3 dagfile.py:

  • Avec erreurs

python3 - erreurs

  • Sans erreurs

python3 - sans erreurs

Introduction à Apache Airflow en Python

Passons à la pratique !

Introduction à Apache Airflow en Python

Preparing Video For Download...