Crear un flujo de producción

Introducción a Apache Airflow en Python

Mike Metzger

Data Engineer

Ejecutar Dags y tareas

Para ejecutar una tarea desde la línea de comandos:

airflow tasks test <dag_id> <task_id> <date>

Para ejecutar un Dag completo:

airflow dags trigger --logical-date <date> <dag_id>
Introducción a Apache Airflow en Python

Recordatorio de tareas

  • @task - Marca una función de Python como tarea de Airflow
  • @task.bash - Devuelve el resultado de un comando bash como salida de tarea
  • @task.branch - Operador de ramificación para elegir en tiempo de ejecución dentro de un Dag
  • FileSensor - requiere el argumento filepath y puede necesitar mode o poke_interval
Introducción a Apache Airflow en Python

Recordatorios sobre plantillas

  • Muchos objetos en Airflow aceptan plantillas
  • Algunos campos admiten strings con plantilla; otros no
  • Para comprobarlo, usa la documentación integrada:
  1. Abre el intérprete de python3
  2. Importa las librerías necesarias (p. ej., from airflow.sdk import dag, task)
  3. En el prompt, ejecuta help(<Airflow object>), p. ej., help(task)
  4. Busca una línea con template_fields. Indicará qué argumentos aceptan plantillas.
Introducción a Apache Airflow en Python

Ejemplo de documentación de plantillas

Terminal que muestra la salida de ayuda de python3 para un objeto de Airflow

Salida de terminal destacando la línea template_fields en la ayuda de Airflow

Introducción a Apache Airflow en Python

Trabajar con Airflow

Ilustración de crear, programar y monitorizar flujos de trabajo

Logo de Apache Airflow

Introducción a Apache Airflow en Python

¡Vamos a practicar!

Introducción a Apache Airflow en Python

Preparing Video For Download...