Depuración y resolución de problemas en Airflow

Introducción a Apache Airflow en Python

Mike Metzger

Data Engineer

Problemas típicos...

  • El DAG no se ejecuta según la programación
  • El DAG no carga
  • Errores de sintaxis
Introducción a Apache Airflow en Python

El DAG no se ejecuta según la programación

  • Comprueba si el scheduler está en ejecución

Scheduler de Airflow no está en ejecución

  • Corrige ejecutando airflow scheduler en la línea de comandos.
Introducción a Apache Airflow en Python

El DAG no se ejecuta según la programación (parte 2)

  • Aún no ha pasado al menos un schedule_interval.
    • Ajusta los atributos según tus necesidades.
  • No hay tareas libres suficientes en el executor.
    • Cambia el tipo de executor
    • Añade recursos del sistema
    • Añade más sistemas
    • Cambia la programación del DAG
Introducción a Apache Airflow en Python

El DAG no carga

  • El DAG no aparece en la web UI
  • El DAG no está en airflow dags list

Posibles soluciones

  • Verifica que el archivo del DAG esté en la carpeta correcta
  • Localiza la carpeta de DAGs en airflow.cfg
  • La ruta debe ser absoluta

Carpeta dags_folder de Airflow

Introducción a Apache Airflow en Python

Errores de sintaxis

  • Motivo más común por el que un archivo DAG no aparece
  • A veces es difícil encontrar errores en un DAG

  • Dos métodos rápidos:

    • Ejecuta airflow dags list-import-errors

    • Ejecuta python3 <dagfile.py>

Introducción a Apache Airflow en Python

airflow dags list-import-errors

lista de errores de importación de airflow dags con errores

Introducción a Apache Airflow en Python

Ejecutar el intérprete de Python

python3 dagfile.py:

  • Con errores

python3 - errores

  • Sin errores

python3 - sin errores

Introducción a Apache Airflow en Python

¡Vamos a practicar!

Introducción a Apache Airflow en Python

Preparing Video For Download...