Introduction aux pipelines de données Fabric

Ingestion de données et modèles sémantiques avec Microsoft Fabric

Alex Kuntz

Head of Cloud Curriculum, DataCamp

Pipelines de données dans Microsoft Fabric

Deux grandes fonctionnalités dans Data Factory :

  1. Pipelines de données – Orchestrent les mouvements de données. Pipelines de données
  2. Dataflows – prennent en charge plus de 300 transformations via l'interface. Dataflows

Pipelines de données dans Microsoft Fabric :

  • Automatise l'ETL avec peu ou pas de code.
  • Intégration fluide de sources de données variées
  • Large éventail d'activités pour l'ingestion et la transformation
  • Exécuter à la demande ou planifier avec des déclencheurs
1 https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
Ingestion de données et modèles sémantiques avec Microsoft Fabric

Activités dans les pipelines de données

Les activités sont des tâches dans les pipelines qui orchestrent le traitement et l'automatisation des flux de travaux. Chaîne de montage automobile illustrant les activités dans un pipeline de données

1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Ingestion de données et modèles sémantiques avec Microsoft Fabric

Types d'activités

  1. Déplacer et transformer :
    • Gère les tâches de transfert et de transformation
    • (p. ex., Copier des données Copier des données).
  2. Métadonnées et validation :
    • Gère les contrôles de qualité et la récupération de métadonnées.
    • (p. ex., Recherche Recherche).
  3. Flux de contrôle :
    • Détermine la séquence selon des conditions et des boucles.
    • (p. ex., If condition If condition, ForEach ForEach).
1 https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
Ingestion de données et modèles sémantiques avec Microsoft Fabric

Types d'activités

  1. Orchestrer :

    • Synchroniser plusieurs processus
    • (p. ex., Invoke Pipeline Invoke Pipeline).

  2. Notifications :

    • Envoie des alertes et mises à jour par courriel ou messagerie
    • (p. ex., 365 Outlook 365 Outlook, Teams Teams).

  3. Transformer :

    • Exécute les manipulations selon la logique d'affaires.
    • (p. ex., Notebook Notebook, Procédure stockée Procédure stockée).
Ingestion de données et modèles sémantiques avec Microsoft Fabric

Paramètres et variables de pipeline

Les paramètres et variables aident à contrôler et gérer le comportement du pipeline de façon dynamique.

Paramètres :

  • Définis à l'exécution : Ajustez le comportement à l'aide d'entrées externes.
  • Portée globale : Influencent toute l'exécution du pipeline.

Variables :

  • Suivi dynamique : Changent de valeur pendant l'exécution.
  • Portée locale : Gèrent des données dans des activités précises.
1 https://learn.microsoft.com/en-us/fabric/data-factory/parameters 2 https://learn.microsoft.com/en-us/fabric/data-factory/set-variable-activity
Ingestion de données et modèles sémantiques avec Microsoft Fabric

Exécutions de pipeline

Une exécution de pipeline lance les activités jusqu'à complétion.

  • À la demande : Démarrez depuis l'interface Fabric. Exécution à la demande
  • Planifiée : Démarre à une fréquence donnée. Exécution planifiée

Surveillance :

  • Suivez et consultez chaque exécution avec son ID unique dans l'onglet Monitor.

Validation :

  • Vérifiez la configuration avec l'option Validate avant l'exécution.
1 https://learn.microsoft.com/en-us/fabric/data-factory/pipeline-runs
Ingestion de données et modèles sémantiques avec Microsoft Fabric

Passons à la pratique !

Ingestion de données et modèles sémantiques avec Microsoft Fabric

Preparing Video For Download...