Exploration et transformation des données

Transformer et analyser des données avec Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Scénarios de transformation des données

Pourquoi transformer les données ?

  • Supprimer ou corriger les données erronées des systèmes sources

Tableau de données avec certaines entrées invalides surlignées en rouge

Transformer et analyser des données avec Microsoft Fabric

Scénarios de transformation des données

Pourquoi transformer les données ?

  • Supprimer ou corriger les données erronées des systèmes sources.
  • Convertir les types pour assurer la cohérence.

Colonne stockant des nombres en texte convertie en nombres réels

Transformer et analyser des données avec Microsoft Fabric

Scénarios de transformation des données

Pourquoi transformer les données ?

  • Supprimer ou corriger les données erronées des systèmes sources.
  • Convertir les types pour assurer la cohérence.
  • Filtrer les données non pertinentes.

Table avant et après filtrage des lignes ne répondant pas à un critère ; ici, ne garder que les enregistrements où un champ est différent de 'X'

Transformer et analyser des données avec Microsoft Fabric

Scénarios de transformation des données

Pourquoi transformer les données ?

  • Supprimer ou corriger les données erronées des systèmes sources.
  • Convertir les types pour assurer la cohérence.
  • Filtrer les données non pertinentes.
  • Combiner des données de plusieurs systèmes sources.

Schéma représentant deux tables combinées en une seule-

Transformer et analyser des données avec Microsoft Fabric

Scénarios de transformation des données

Pourquoi transformer les données ?

  • Supprimer ou corriger les données erronées des systèmes sources.
  • Convertir les types pour assurer la cohérence.
  • Filtrer les données non pertinentes.
  • Combiner des données de plusieurs systèmes sources.
  • Mettre les données dans un format plus adapté à l'analyse et au reporting.

Schéma représentant une grande table transformée en schéma en étoile

Transformer et analyser des données avec Microsoft Fabric

Nettoyage des données

  • Réduire les lignes non pertinentes (supprimer les premières/dernières lignes)
  • Supprimer les doublons
  • Supprimer les lignes vides
  • Supprimer les lignes en erreur
  • Convertir les types de données

Table source avec des entrées invalides en rouge et une flèche indiquant leur suppression dans la table de destination

Transformer et analyser des données avec Microsoft Fabric

Filtrage des données

  • Réduire la portée des jeux de données

    • Ne sélectionner qu'un sous-ensemble
    • Écarter les enregistrements ne répondant pas à certains critères

  • Exemple : clause SQL WHERE

Capture d'une requête sélectionnant les données de la table Orders où la colonne State vaut NY

Schéma montrant un tableau filtrant toute ligne non liée à l'État de NY

Transformer et analyser des données avec Microsoft Fabric

Fusion et jointure de données

  • Joindre deux jeux de données ou plus
  • Utile pour créer des schémas en étoile

Schéma illustrant la fusion de deux tables

Transformer et analyser des données avec Microsoft Fabric

Agréger et désagréger les données

  • Agréger : compiler et résumer les données

Commandes par État agrégées en nombre total de commandes et montant total des ventes par État

  • Désagréger : scinder les données, souvent une colonne en plusieurs

Emplacements d'agences où la localisation « ville, État » est scindée en deux colonnes séparées

Transformer et analyser des données avec Microsoft Fabric

Outils d'exploration et de transformation

  • Dataflows
  • Data Wrangler

Deux captures côte à côte montrant l'interface graphique de Dataflows et Data Wrangler

  • Notebooks Spark
  • Scripts SQL

Deux captures côte à côte montrant un exemple de notebook Spark et un script SQL

Transformer et analyser des données avec Microsoft Fabric

Dataflows

  • Interface graphique low-code
  • Nettoyage
  • Filtrage
  • Agrégation

Capture de l'outil Dataflow avec quelques requêtes et opérations de transformation disponibles

Transformer et analyser des données avec Microsoft Fabric

Data Wrangler

  • Outil basé sur notebook pour l'exploration des données
  • Grille d'affichage des données
  • Statistiques descriptives dynamiques
  • Visualisations intégrées
  • Bibliothèque d'opérations courantes de nettoyage

Capture de l'interface Data Wrangler montrant quelques opérations

Transformer et analyser des données avec Microsoft Fabric

Notebooks Spark

  • Variété de langages
  • Bibliothèques Python pour la manipulation
    • PySpark pour grands jeux de données
    • Pandas pour jeux de données plus petits

Capture d'un notebook Spark avec du code PySpark d'exemple

Transformer et analyser des données avec Microsoft Fabric

Scripts SQL

  • Instructions T-SQL pour manipuler les données : SELECT, INSERT, UPDATE, DELETE
  • JOIN pour fusionner des données
  • CAST et CONVERT pour changer les types

Éditeur SQL avec une requête SELECT d'exemple

Transformer et analyser des données avec Microsoft Fabric

Passons à la pratique !

Transformer et analyser des données avec Microsoft Fabric

Preparing Video For Download...