Orquestación

Comprender la arquitectura de datos moderna

Miller Trujillo

Senior Software Engineer

¿Qué es la orquestación?

Flujo de alto nivel para procesar 5 tablas

  • Coordina múltiples jobs
  • Configuración y coordinación automatizadas de flujos complejos.

DAG de ejemplo en Airflow

  • Libera recursos humanos
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Comprender la arquitectura de datos moderna

Orquestación vs planificación

Planificación

  • Ejecuta tareas en intervalos/horas definidos
  • Inicia flujos orquestados

Ejemplo de planificación

Orquestación

Automatiza y coordina flujos de trabajo complejos

Ejemplo de orquestación

Comprender la arquitectura de datos moderna

Apache Airflow

Logotipo de Apache Airflow

  • Coordina flujos complejos con Python
Comprender la arquitectura de datos moderna

Conceptos clave de orquestación

  • Tareas:
    • Unidad básica de ejecución
  • Dependencias:
    • Determinan el orden de tareas
  • Grafo acíclico dirigido (DAG):
    • Flujo de trabajo de tareas y dependencias

Ejemplo de DAG de Airflow

Comprender la arquitectura de datos moderna

Conceptos clave de orquestación

  • Operadores:
    • Definen la naturaleza de la tarea
    • BashOperator
    • PythonOperator
  • Sensores:
    • Esperan condiciones específicas
  • Planificador
    • Automatiza el disparo de tareas.
Comprender la arquitectura de datos moderna

¡Vamos a practicar!

Comprender la arquitectura de datos moderna

Preparing Video For Download...