Ingénierie des données dans Microsoft Fabric

Transformer et analyser des données avec Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Analytique des données de bout en bout

Schéma montrant les composants d'une solution analytique de bout en bout : sources de données, ingestion, préparation et transformation, stockage, requêtes, visualisation et analyse

  • Ingérer les données sources et les stocker dans un data lake
  • Préparer et transformer les données
  • Visualiser et analyser les données
Transformer et analyser des données avec Microsoft Fabric

Data Factory

Schéma d'une solution analytique de bout en bout, avec Data Pipelines dans Ingestion et Dataflows dans Préparer et transformer

  • Ingérer, préparer et transformer les données
  • Dataflows et Data Pipelines
Transformer et analyser des données avec Microsoft Fabric

Dataflows

  • Interface low-code pour l'ingestion et la transformation
  • Moteur de transformation Power Query

Capture de l'éditeur Dataflow avec un exemple de flux d'ingestion

Transformer et analyser des données avec Microsoft Fabric

Data Pipelines

  • Ensemble d'activités exécutant une tâche
  • Types d'activités :
    • Déplacement de données (Copy activity, Dataflow)
    • Transformation de données (Notebook, Stored Procedure, Script)
    • Contrôle (Switch, If, ForEach, Wait)

Capture de l'éditeur Data Pipeline avec un pipeline d'ingestion exemple, incluant une activité Copy et une activité Dataflow

Transformer et analyser des données avec Microsoft Fabric

Synapse Data Engineering

Schéma d'une solution analytique de bout en bout, avec les Lakehouses dans Stockage et Notebooks/Spark job dans Préparer et transformer

  • Lakehouses
  • Notebooks
  • Définitions de jobs Apache Spark
Transformer et analyser des données avec Microsoft Fabric

Lakehouses

  • Données structurées (tables)
  • Données non structurées (fichiers)

Capture de l'Explorateur Lakehouse dans le portail Fabric, montrant un Lakehouse avec Tables et Files

Transformer et analyser des données avec Microsoft Fabric

Notebooks

  • Interface web interactive
    • Code de manipulation des données
    • Visualisations
    • Commentaires / explications
  • Prise en charge multilingue :
    • PySpark (Python)
    • Spark (Scala)
    • Spark SQL (SQL)
    • SparkR (R)

Capture de l'éditeur Notebook, avec un exemple contenant du texte, du code Python et un histogramme

Transformer et analyser des données avec Microsoft Fabric

Définitions de jobs Apache Spark

  • Soumettre des jobs batch/streaming à des clusters Spark
  • Alternative ou complément aux Notebooks :
    • Notebooks pour l'exploration, le prototypage et le développement collaboratif
    • Spark Job Definition pour automatiser du code de traitement prêt pour la production

Capture d'une définition de job Spark avec des paramètres de configuration

Transformer et analyser des données avec Microsoft Fabric

Synapse Data Warehouse

Schéma d'une solution analytique de bout en bout, avec les éléments Warehouse dans le composant Stockage

  • Se comporte comme un entrepôt de données relationnel classique
  • Stocke les données dans OneLake au format ouvert Delta Lake
  • Favorise l'interopérabilité avec les autres workloads Fabric
  • Évite de multiplier les copies de données
Transformer et analyser des données avec Microsoft Fabric

Choisir un stockage de données

  • Lakehouse
    • Données non structurées (fichiers)
    • Spark comme interface principale de développement

 

  • Warehouse
    • Données structurées (tables)
    • T-SQL comme interface principale de développement
Transformer et analyser des données avec Microsoft Fabric

Choisir un outil de copie de données

Tableau résumant des critères pour choisir entre Pipeline Copy Activity, Dataflow et Spark : quantité de code, compétences, sources de données et complexité des transformations

Transformer et analyser des données avec Microsoft Fabric

Choisir un outil de copie de données

Tableau résumant des critères pour choisir entre Pipeline Copy Activity, Dataflow et Spark : quantité de code, compétences, sources de données et complexité des transformations

Transformer et analyser des données avec Microsoft Fabric

Choisir un outil de copie de données

Tableau résumant des critères pour choisir entre Pipeline Copy Activity, Dataflow et Spark : quantité de code, compétences, sources de données et complexité des transformations

Transformer et analyser des données avec Microsoft Fabric

Passons à la pratique !

Transformer et analyser des données avec Microsoft Fabric

Preparing Video For Download...