Resumen

Creación de canalizaciones de datos con Airflow

Volker Janz

Developer Advocate at Astronomer

Lo que has construido

Recorrido del curso: 4 capítulos hasta llegar a pipelines en producción

  • Creaste Dags con la TaskFlow API y pasaste datos con XCom
  • Construiste flujos dinámicos con mapeo de tareas, assets y flujos HITL
  • Dejaste los Dags listos para producción con reintentos, operadores aplazables y tests
  • Orquestaste cargas de trabajo SQL con particiones y quality gates
Creación de canalizaciones de datos con Airflow

Tu kit de herramientas

Capítulo 1: Fundamentos

  • @dag, @task, TaskFlow API
  • XCom, .output, paso de datos
  • Versionado de Dags, estrategias de planificación

Capítulo 2: Autoría avanzada

  • .expand(), .partial(), mapeo dinámico de tareas
  • Asset, outlets, schedule=[Asset], planificación con conocimiento de datos
  • {{ ds }}, idempotencia, human-in-the-loop

Capítulo 3: Listo para producción

  • retries, on_failure_callback, alertas por plazo
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Capítulo 4: Cargas SQL

  • SQL con SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Calidad de datos, CLI, llevar Airflow a producción
Creación de canalizaciones de datos con Airflow

Empieza a construir hoy

Empieza a construir hoy

$$

Creación de canalizaciones de datos con Airflow

¡A construir!

Creación de canalizaciones de datos con Airflow

Preparing Video For Download...