Introduction à Apache Airflow

Introduction à Apache Airflow en Python

Mike Metzger

Data Engineer

Qu’est-ce qu’un workflow ?

  • Workflow - Suite d’étapes pour réaliser un processus de data engineering

 

  • Exemple : télécharger des fichiers, copier des données, filtrer des informations, écrire dans une base de données

Schéma d’un workflow avec des étapes séquentielles du téléchargement à l’écriture en base

Introduction à Apache Airflow en Python

Qu’est-ce qu’Airflow ?

Airflow - une plateforme pour orchestrer des workflows :

  • Créer
  • Planifier
  • Surveiller

 

Logo Apache Airflow

   

Icônes représentant la création, la planification et la surveillance de workflows

Introduction à Apache Airflow en Python

Qu’est-ce qu’Airflow ?

  • Peut exécuter des programmes dans tout langage, mais les workflows sont écrits en Python
  • Implémente les workflows sous forme de Dags
  • Accès via interface Web, code, ligne de commande ou API REST
  • Utilisé pour des pipelines ETL, des workflows ML, de l’automatisation, etc.

 

Logo Apache Airflow

Introduction à Apache Airflow en Python

Introduction rapide aux Dags

Dag - modèle représentant tout le nécessaire pour exécuter un workflow.

  • Composé des tâches et de leurs dépendances
  • Créé avec divers détails : nom, e‑mail, propriétaire

Exemple de Dag avec des tâches reliées par des flèches de dépendance

Introduction à Apache Airflow en Python

Composants d’Airflow

  • Scheduler - Déclenche les workflows planifiés, soumet les tâches
  • API Server - Offre un accès sécurisé et homogène à la plateforme Airflow
  • Dag processor - Lu par le scheduler pour déterminer quelles tâches exécuter et quand
  • Metadata database - Stocke l’état des Dags et des tâches

Schéma des composants Airflow : scheduler, API server, Dag processor et metadata database

Introduction à Apache Airflow en Python

Exécuter un workflow dans l’UI Airflow

Vue Dags d’Airflow affichant deux Dags chargés avec des options d’interaction

Introduction à Apache Airflow en Python

Exécuter un workflow dans l’UI Airflow

Vue Dags d’Airflow avec le bouton Lecture (déclenchement) mis en évidence

Introduction à Apache Airflow en Python

Exécuter un workflow dans l’UI Airflow

Fenêtre pop-up de déclenchement de DAG dans Airflow avec options par défaut et bouton Trigger

Introduction à Apache Airflow en Python

Exécuter un workflow dans l’UI Airflow

Vue Dags d’Airflow montrant une dernière exécution réussie avec une coche verte

Introduction à Apache Airflow en Python

Exécuter un workflow dans l’UI Airflow

Vue des tâches d’une exécution de DAG dans Airflow listant des détails comme generate_random_number

Introduction à Apache Airflow en Python

Passons à la pratique !

Introduction à Apache Airflow en Python

Preparing Video For Download...