Exécuteurs Airflow

Introduction à Apache Airflow en Python

Mike Metzger

Data Engineer

Qu’est-ce qu’un exécuteur ?

  • Les exécuteurs lancent les tâches
  • Chaque exécuteur les exécute différemment
  • Exemples d’exécuteurs :
    • SequentialExecutor
    • LocalExecutor
    • KubernetesExecutor
Introduction à Apache Airflow en Python

SequentialExecutor

  • Exécuteur Airflow par défaut
  • Exécute une tâche à la fois
  • Utile pour le débogage
  • Fonctionnel, mais déconseillé en production
Introduction à Apache Airflow en Python

LocalExecutor

  • S’exécute sur une seule machine
  • Traite les tâches comme des processus
  • Parallélisme défini par l’utilisateur
  • Peut utiliser toutes les ressources de l’hôte
Introduction à Apache Airflow en Python

KubernetesExecutor

  • Utilise Kubernetes comme gestionnaire de tâches
  • Plusieurs nœuds workers possibles
  • Mise en place et configuration nettement plus complexes
  • Méthode très puissante pour de grands workflows
Introduction à Apache Airflow en Python

Identifier votre exécuteur

  • Via le fichier airflow.cfg
  • Recherchez la ligne executor=

cat airflow.cfg | grep "executor = "

Introduction à Apache Airflow en Python

Identifier votre exécuteur #2

  • Dans les premières lignes de airflow info
  • executor | SequentialExecutor

airflow info

Introduction à Apache Airflow en Python

Passons à la pratique !

Introduction à Apache Airflow en Python

Preparing Video For Download...