Introduction aux pipelines de données Fabric

Ingestion des données et modèles sémantiques avec Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Data Pipelines dans Microsoft Fabric

Deux fonctionnalités principales de Data Factory :

  1. Data Pipelines - Orchestrent le mouvement des données. Pipelines de données
  2. Dataflows - plus de 300 transformations via l’interface. Dataflows

Data Pipelines dans Microsoft Fabric :

  • Automatise l’ETL avec peu ou pas de code.
  • Intégration fluide de sources variées
  • Large éventail d’activités d’ingestion et de transformation
  • Exécuter manuellement ou planifier via des déclencheurs
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Ingestion des données et modèles sémantiques avec Microsoft Fabric

Activités dans les Data Pipelines

Les activités sont des tâches dans les pipelines, orchestrant le traitement et l’automatisation du flux de travail. Chaîne de montage de voiture illustrant les activités d’un pipeline de données

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Ingestion des données et modèles sémantiques avec Microsoft Fabric

Types d’activités

  1. Déplacer et transformer :
    • Gère le transfert et la transformation des données
    • (ex. : Copy data Copy data).
  2. Métadonnées et validation :
    • Gère les contrôles qualité et la récupération de métadonnées.
    • (ex. : LookupLookup).
  3. Contrôle de flux :
    • Définit la séquence selon conditions et boucles.
    • (ex. : If condition If condition, ForEach If condition).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Ingestion des données et modèles sémantiques avec Microsoft Fabric

Types d’activités

  1. Orchestration :

    • Synchroniser plusieurs processus
    • (ex. : Invoke Pipeline Invoke Pipeline).

  2. Notifications :

    • Envoie des alertes et mises à jour par e-mail ou messagerie
    • (ex. : 365 Outlook365 Outlook, TeamsTeams).

  3. Transformation :

    • Exécuter les manipulations selon la logique métier.
    • (ex. : NotebookNotebook, Stored ProcedureStored Procedure).
Ingestion des données et modèles sémantiques avec Microsoft Fabric

Paramètres et variables de pipeline

Les paramètres et variables permettent de piloter dynamiquement le pipeline.

Paramètres :

  • Définis à l’exécution : Adapter le comportement via des entrées externes.
  • Portée globale : Influencent toute l’exécution du pipeline.

Variables :

  • Suivi dynamique : Changer de valeur pendant l’exécution.
  • Portée locale : Gérer des données dans des activités spécifiques.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Ingestion des données et modèles sémantiques avec Microsoft Fabric

Exécutions de pipeline

Une exécution de pipeline lance les activités jusqu’à completion.

  • À la demande : Démarrer depuis l’interface Fabric. Exécution à la demande
  • Planifiée : Démarre à une fréquence définie. Exécution planifiée

Supervision :

  • Suivre chaque exécution via son Run ID dans l’onglet Monitor.

Validation :

  • Vérifier la configuration avec Valider avant l’exécution.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Ingestion des données et modèles sémantiques avec Microsoft Fabric

Passons à la pratique !

Ingestion des données et modèles sémantiques avec Microsoft Fabric

Preparing Video For Download...