Créer un pipeline de production

Introduction à Apache Airflow en Python

Mike Metzger

Data Engineer

Exécuter des Dags et des tâches

Pour exécuter une tâche précise en ligne de commande :

airflow tasks test <dag_id> <task_id> <date>

Pour exécuter un Dag complet :

airflow dags trigger --logical-date <date> <dag_id>
Introduction à Apache Airflow en Python

Rappel sur les tâches

  • @task – Déclare une fonction Python comme tâche Airflow
  • @task.bash – Retourne le contenu d'une commande bash comme résultat de tâche Airflow
  • @task.branch – Opérateur de branchement pour choisir à l'exécution dans un Dag
  • FileSensor – exige l'argument filepath et peut nécessiter les attributs mode ou poke_interval
Introduction à Apache Airflow en Python

Rappels sur les gabarits

  • Plusieurs objets dans Airflow acceptent des gabarits
  • Certains champs acceptent des chaînes gabaritisées, d'autres non
  • Pour vérifier, utilisez la documentation intégrée :
  1. Ouvrez l'interpréteur python3
  2. Importez les bibliothèques requises (p. ex., from airflow.sdk import dag, task)
  3. À l'invite, exécutez help(<objet Airflow>), p. ex., help(task)
  4. Repérez une ligne mentionnant template_fields. Elle précise quels arguments peuvent utiliser des gabarits.
Introduction à Apache Airflow en Python

Exemple de documentation sur les gabarits

Terminal affichant l'aide python3 pour un objet Airflow

Sortie du terminal mettant en évidence la ligne template_fields dans l'aide Airflow

Introduction à Apache Airflow en Python

Travailler avec Airflow

Illustration de la création, de la planification et du suivi des flux de travaux

Logo d'Apache Airflow

Introduction à Apache Airflow en Python

Passons à la pratique !

Introduction à Apache Airflow en Python

Preparing Video For Download...