Ejecutores de Airflow

Introducción a Apache Airflow en Python

Mike Metzger

Data Engineer

¿Qué es un executor?

• Los ejecutores ejecutan tareas
• Cada ejecutor las ejecuta de forma distinta
• Ejecutores de ejemplo:
  • SequentialExecutor
  • LocalExecutor
  • KubernetesExecutor

SequentialExecutor

• El executor predeterminado de Airflow
• Ejecuta una tarea a la vez
• Útil para depurar
• Funciona, pero no se recomienda para producción

LocalExecutor

• Se ejecuta en un solo sistema
• Trata las tareas como procesos
• El usuario define el paralelismo
• Puede usar todos los recursos del host

KubernetesExecutor

• Usa Kubernetes como gestor de tareas
• Se pueden definir múltiples workers
• Mucho más difícil de configurar
• Muy potente para organizaciones con workflows extensos

Determina tu executor

• En el archivo airflow.cfg
• Busca la línea executor=

Determina tu executor #2

• En las primeras líneas de airflow info
• executor | SequentialExecutor

¡Vamos a practicar!

Introducción a Apache Airflow en Python