De l'environnement de développement à la production

Créer des pipelines de données avec Airflow

Volker Janz

Senior Developer Advocate at Astronomer

La CLI Airflow

$ airflow dags trigger <dag_id>
$ airflow dags list-runs <dag_id>
$ airflow backfill create --dag-id <dag_id> ...

 

  • Votre trousse de production en complément de l'interface
  • Automatisez les opérations et scripttez les déploiements
Créer des pipelines de données avec Airflow

Déclencher une exécution

$ airflow dags trigger daily_sales_load --logical-date 2026-04-20

dag_id            | logical_date             | run_id
daily_sales_load  | 2026-04-20T00:00:00+00:00 | manual__2026-...

 

  • Crée une exécution manuelle pour une date précise
  • L'option --logical-date définit quelle date l'exécution traite
  • Remarquez que le run_id commence par manual__
Créer des pipelines de données avec Airflow

Lister les exécutions

$ airflow dags list-runs daily_sales_load

run_id                           | state   | logical_date
scheduled__2026-04-23T00:00:00   | success | 2026-04-23T00:00:00
manual__2026-04-20T00:00:00      | success | 2026-04-20T00:00:00

 

  • Affiche toutes les exécutions d'un Dag
  • Le préfixe du run_id indique comment l'exécution a été créée
  • scheduled__ = créée par le planificateur
  • manual__ = créée par la commande trigger ou l'interface
Créer des pipelines de données avec Airflow

Rattraper des données historiques (backfill)

$ airflow backfill create \
    --dag-id daily_sales_load \
    --from-date 2026-04-20 \
    --to-date 2026-04-22 \
    --max-active-runs 1

 

  • Retraiter une plage de dates historiques
  • Crée une exécution par intervalle planifié
  • --max-active-runs contrôle la concurrence
  • Les exécutions de rattrapage commencent par backfill__
Créer des pipelines de données avec Airflow

Trois types d'exécutions

Trois types d'exécutions, leurs préfixes et leur mode de création

  • scheduled__ : créée automatiquement par le planificateur
  • manual__ : créée par la commande trigger ou le bouton de l'interface
  • backfill__ : créée par la commande backfill pour des dates historiques
  • Le préfixe dans run_id indique toujours le type
Créer des pipelines de données avec Airflow

Défis de production

Les défis de production Airflow : créer, exécuter et observer

  • Créer : configurer les environnements Airflow, développement de flux de travail assisté par IA, déploiement en production
  • Exécuter : mise à l'échelle des travailleurs, bascule automatique entre régions
  • Observer : enquête sur les échecs, suivi de la fraîcheur des données, traçage de l'ascendance au sein et au-delà des Dags
Créer des pipelines de données avec Airflow

Astro : créer

 

Astro CLI

  • Airflow local en une commande
  • Déployez en production sans heurts

$$

Astro IDE

  • Rédaction de Dags dans le navigateur
  • Codage assisté par IA, aucune configuration locale

Produits Astro Build

Créer des pipelines de données avec Airflow

Astro : exécuter et observer

Exécuter

  • Mise à l'échelle élastique selon la file des tâches
  • Haute disponibilité avec bascule automatique
  • Aucune gestion d'infrastructure requise

Observer

  • Lignée des pipelines entre Dags et tables
  • Alertes SLA proactives avant les échéances
  • Résumés de journaux par IA pour accélérer l'analyse des causes

Astro Observe

Créer des pipelines de données avec Airflow

Passons à la pratique !

Créer des pipelines de données avec Airflow

Preparing Video For Download...