Orchestration

Comprendre les architectures de données modernes

Miller Trujillo

Senior Software Engineer

Qu’est-ce que l’orchestration ?

Workflow global pour traiter 5 tables

  • Coordonner plusieurs jobs
  • Configuration et coordination automatisées de workflows complexes

Exemple de DAG Airflow

  • Libère des ressources humaines
1 https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html
Comprendre les architectures de données modernes

Orchestration vs planification

Planification

  • Exécuter des tâches à des intervalles/heures donnés
  • Lanceur des workflows orchestrés

Exemple de planification

Orchestration

Automatiser et coordonner des workflows complexes

Exemple d’orchestration

Comprendre les architectures de données modernes

Apache Airflow

Logo Apache Airflow

  • Coordonner des workflows complexes avec Python
Comprendre les architectures de données modernes

Concepts clés de l’orchestration

  • Tâches :
    • Unité d’exécution de base
  • Dépendances :
    • Déterminent l’ordre des tâches
  • Graphe orienté acyclique (DAG) :
    • Flux de tâches et de dépendances

Exemple de DAG Airflow

Comprendre les architectures de données modernes

Concepts clés de l’orchestration

  • Opérateurs :
    • Définissent la nature de la tâche
    • BashOperator
    • PythonOperator
  • Capteurs :
    • Attendent des conditions spécifiques
  • Planificateur
    • Déclenche automatiquement les tâches
Comprendre les architectures de données modernes

Passons à la pratique !

Comprendre les architectures de données modernes

Preparing Video For Download...