Ingénierie des données dans Microsoft Fabric

Transformer et analyser des données avec Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Analyse de données de bout en bout

Schéma des composantes d'une solution analytique de bout en bout, incluant sources de données, ingestion, préparation et transformation, stockage, requête ainsi que visualisation et analyse

  • Ingérer les données de la source et les stocker dans un lac de données
  • Préparer et transformer les données
  • Visualiser et analyser les données
Transformer et analyser des données avec Microsoft Fabric

Data Factory

Schéma des composantes d'une solution analytique de bout en bout, mettant en évidence Data Pipelines dans la composante Ingestion et Dataflows dans Préparer et transformer

  • Ingérer, préparer et transformer les données
  • Dataflows et Data Pipelines
Transformer et analyser des données avec Microsoft Fabric

Dataflows

  • Interface à faible codage pour l'ingestion et la transformation
  • Moteur de transformation Power Query

Capture d'écran du concepteur Dataflow montrant un exemple de flux d'ingestion

Transformer et analyser des données avec Microsoft Fabric

Data Pipelines

  • Ensemble d'activités qui exécutent une tâche
  • Types d'activités :
    • Déplacement de données (activité Copy, Dataflow)
    • Transformation de données (Notebook, procédure stockée, script)
    • Contrôle (Switch, If, ForEach, Wait)

Capture d'écran du concepteur Data Pipeline montrant un exemple de pipeline d'ingestion avec une activité Copy et une activité Dataflow

Transformer et analyser des données avec Microsoft Fabric

Synapse Data Engineering

Schéma des composantes d'une solution analytique de bout en bout, mettant en évidence les éléments Lakehouse dans Stockage, et Notebooks et travaux Spark dans Préparer et transformer

  • Lakehouses
  • Notebooks
  • Définitions de travaux Apache Spark
Transformer et analyser des données avec Microsoft Fabric

Lakehouses

  • Données structurées (tables)
  • Données non structurées (fichiers)

Capture d'écran de l'explorateur Lakehouse dans le portail Fabric, montrant un Lakehouse contenant des tables et des fichiers

Transformer et analyser des données avec Microsoft Fabric

Notebooks

  • Interface web interactive
    • Code de manipulation des données
    • Visualisations de données
    • Commentaires / explications
  • Prise en charge multilingue :
    • PySpark (Python)
    • Spark (Scala)
    • Spark SQL (SQL)
    • SparkR (R)

Capture d'écran de l'éditeur Notebook, montrant un carnet d'exemple contenant des descriptions textuelles, du code Python et un histogramme

Transformer et analyser des données avec Microsoft Fabric

Définitions de travaux Apache Spark

  • Soumettre des travaux par lots / en continu à des grappes Spark
  • Solution de rechange ou complément aux Notebooks :
    • Notebooks pour l'exploration, le prototypage et le développement collaboratif
    • Spark Job Definition pour automatiser du code de traitement prêt pour la production

Capture d'écran d'une définition de travail Spark montrant des paramètres de configuration

Transformer et analyser des données avec Microsoft Fabric

Synapse Data Warehouse

Schéma des composantes d'une solution analytique de bout en bout, mettant en évidence les éléments Warehouse dans la composante Stockage

  • Fonctionne comme un entrepôt de données relationnel traditionnel
  • Stocke les données dans OneLake au format ouvert Delta Lake
  • Permet l'interopérabilité avec d'autres charges de travail Fabric
  • Évite de créer plusieurs copies des données
Transformer et analyser des données avec Microsoft Fabric

Choisir un stockage de données

  • Lakehouse
    • Données non structurées (fichiers)
    • Spark comme principale interface de développement

 

  • Warehouse
    • Données structurées (tables)
    • T‑SQL comme principale interface de développement
Transformer et analyser des données avec Microsoft Fabric

Choisir un outil de copie de données

Tableau résumant des aspects à considérer pour choisir entre Pipeline Copy Activity, Dataflow et Spark. Aspects : quantité de code requise, compétences des développeurs, sources de données et complexité des transformations

Transformer et analyser des données avec Microsoft Fabric

Choisir un outil de copie de données

Tableau résumant des aspects à considérer pour choisir entre Pipeline Copy Activity, Dataflow et Spark. Aspects : quantité de code requise, compétences des développeurs, sources de données et complexité des transformations

Transformer et analyser des données avec Microsoft Fabric

Choisir un outil de copie de données

Tableau résumant des aspects à considérer pour choisir entre Pipeline Copy Activity, Dataflow et Spark. Aspects : quantité de code requise, compétences des développeurs, sources de données et complexité des transformations

Transformer et analyser des données avec Microsoft Fabric

Passons à la pratique !

Transformer et analyser des données avec Microsoft Fabric

Preparing Video For Download...