De desarrollo a producción

Creación de canalizaciones de datos con Airflow

Volker Janz

Senior Developer Advocate at Astronomer

La CLI de Airflow

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

Tu kit para producción junto con la UI
Automatiza operaciones y guioniza despliegues

Lanzar una ejecución

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

Crea una ejecución manual para una fecha concreta
La marca --logical-date define qué fecha procesa la ejecución
Observa que run_id empieza por manual__

Listar ejecuciones

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

Muestra todas las ejecuciones de un Dag
El prefijo de run_id indica cómo se creó la ejecución
scheduled__ = creada por el scheduler
manual__ = creada por trigger o desde la UI

Backfill de datos históricos

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

Reprocesa un rango de fechas históricas
Crea una ejecución por intervalo programado
--max-active-runs controla la concurrencia
Las ejecuciones de backfill empiezan por backfill__

Tres tipos de ejecuciones

Tres tipos de ejecución con sus prefijos y cómo se crean

scheduled__: creada automáticamente por el scheduler
manual__: creada por el comando trigger o botón de la UI
backfill__: creada por el comando backfill para fechas históricas
El prefijo en run_id siempre indica cuál es

Retos en producción

Los retos de producción de Airflow: build, run y observe

Build: configurar entornos de Airflow, desarrollo de flujos con IA, desplegar código a producción
Run: escalar workers, gestionar failover entre regiones
Observe: investigar fallos, seguir frescura de datos, trazar linaje dentro y fuera de Dags

Astro: Build

Astro CLI

Airflow local en un comando
Despliega a producción sin fricciones

Astro IDE

Autoría de Dags en el navegador
Codificación asistida por IA, sin configuración local

Productos de Astro Build

Astro: Run y Observe

Run

Autoescalado elástico según la cola de tareas
Alta disponibilidad con failover automático
Sin gestión de infraestructura

Observe

Linaje de pipelines entre Dags y tablas
Alertas SLA proactivas antes de incumplir plazos
Resúmenes de logs con IA para acelerar el análisis de causa raíz

Astro Observe

¡Vamos a practicar!

Creación de canalizaciones de datos con Airflow