Orchestration

Comprendre l'architecture de données moderne

Miller Trujillo

Senior Software Engineer

Qu'est-ce que l'orchestration ?

Flux de travail global pour traiter 5 tables

  • Coordonner plusieurs tâches
  • Configuration et coordination automatisées de flux complexes

Exemple de DAG Airflow

  • Libère des ressources humaines
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Comprendre l'architecture de données moderne

Orchestration vs ordonnancement

Ordonnancement

  • Exécuter des tâches à des moments/intervalles précis
  • Déclencheur de flux orchestrés

Exemple d'ordonnancement

Orchestration

Automatiser et coordonner des flux de travail complexes

Exemple d'orchestration

Comprendre l'architecture de données moderne

Apache Airflow

Logo d'Apache Airflow

  • Coordonner des flux complexes avec Python
Comprendre l'architecture de données moderne

Concepts clés de l'orchestration

  • Tâches :
    • Unité d'exécution de base
  • Dépendances :
    • Déterminent la séquence des tâches
  • Graphe orienté acyclique (DAG) :
    • Flux de tâches et de dépendances

Exemple de DAG Airflow

Comprendre l'architecture de données moderne

Concepts clés de l'orchestration

  • Opérateurs :
    • Déterminent la nature de la tâche
    • BashOperator
    • PythonOperator
  • Capteurs :
    • Attendent des conditions précises
  • Planificateur
    • Automatise le déclenchement des tâches
Comprendre l'architecture de données moderne

Passons à la pratique !

Comprendre l'architecture de données moderne

Preparing Video For Download...