Résumé

Créer des pipelines de données avec Airflow

Volker Janz

Developer Advocate at Astronomer

Ce que vous avez construit

Parcours du cours : 4 chapitres jusqu'aux pipelines de production

  • Création de Dags avec la TaskFlow API et passage de données avec XCom
  • Conception de flux dynamiques avec mappage de tâches, actifs et flux HITL
  • Dags prêts pour la production avec reprises, opérateurs différables et tests
  • Orchestration de charges SQL avec partitions et seuils de qualité
Créer des pipelines de données avec Airflow

Votre trousse d'outils

Chapitre 1 : Principes de base

  • @dag, @task, TaskFlow API
  • XCom, .output, passage de données
  • Versionnage de Dag, stratégies de planification

Chapitre 2 : Rédaction avancée

  • .expand(), .partial(), mappage dynamique de tâches
  • Asset, sorties, schedule=[Asset], planification sensible aux données
  • {{ ds }}, idempotence, humain dans la boucle

Chapitre 3 : Prêt pour la production

  • retries, on_failure_callback, alertes d'échéance
  • deferrable=True, Triggerer
  • DagBag, dag.test(), @task_group

Chapitre 4 : Charges SQL

  • SQL avec SQLExecuteQueryOperator
  • CronPartitionTimetable, PartitionedAssetTimetable
  • Qualité des données, CLI, mise en production d'Airflow
Créer des pipelines de données avec Airflow

Commencez à construire dès aujourd'hui

Commencez à construire dès aujourd'hui

$$

Créer des pipelines de données avec Airflow

Bonnes constructions !

Créer des pipelines de données avec Airflow

Preparing Video For Download...