Créer un pipeline de production

Introduction à Apache Airflow en Python

Mike Metzger

Data Engineer

Exécuter des Dags et des tâches

Pour exécuter une tâche précise en ligne de commande :

airflow tasks test <dag_id> <task_id> <date>

Pour exécuter un Dag complet :

airflow dags trigger --logical-date <date> <dag_id>
Introduction à Apache Airflow en Python

Rappel sur les tâches

  • @task - Définit une fonction Python comme tâche Airflow
  • @task.bash - Retourne le résultat d’une commande bash comme sortie de tâche
  • @task.branch - Opérateur de branchement pour choisir à l’exécution dans un Dag
  • FileSensor - requiert l’argument filepath et peut utiliser mode ou poke_interval
Introduction à Apache Airflow en Python

Rappels sur les templates

  • De nombreux objets Airflow acceptent des templates
  • Certains champs acceptent des chaînes templatisées, d’autres non
  • Pour vérifier, utilisez la documentation intégrée :
  1. Ouvrir l’interpréteur python3
  2. Importer les bibliothèques nécessaires (p. ex., from airflow.sdk import dag, task)
  3. Au prompt, exécuter help(<objet Airflow>), p. ex., help(task)
  4. Rechercher la ligne template_fields. Elle liste les arguments pouvant utiliser des templates.
Introduction à Apache Airflow en Python

Exemple de documentation des templates

Terminal affichant l’aide python3 pour un objet Airflow

Sortie du terminal mettant en évidence la ligne template_fields dans l’aide Airflow

Introduction à Apache Airflow en Python

Travailler avec Airflow

Illustration de création, planification et suivi de workflows

Logo Apache Airflow

Introduction à Apache Airflow en Python

Passons à la pratique !

Introduction à Apache Airflow en Python

Preparing Video For Download...