Exploration et transformation des données

Transformer et analyser des données avec Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Scénarios de transformation des données

Pourquoi transformer les données ?

  • Retirer ou corriger les données erronées des systèmes sources

Image d'un tableau de données avec des entrées non valides en rouge

Transformer et analyser des données avec Microsoft Fabric

Scénarios de transformation des données

Pourquoi transformer les données ?

  • Retirer ou corriger les données erronées des systèmes sources.
  • Convertir les types pour assurer l'uniformité.

Image d'une colonne stockant des nombres comme du texte, convertie en nombres

Transformer et analyser des données avec Microsoft Fabric

Scénarios de transformation des données

Pourquoi transformer les données ?

  • Retirer ou corriger les données erronées des systèmes sources.
  • Convertir les types pour assurer l'uniformité.
  • Filtrer les données non pertinentes.

Image montrant un tableau avant/après filtrage des lignes ne respectant pas un critère ; on garde les enregistrements où un champ n'est pas égal à « X »

Transformer et analyser des données avec Microsoft Fabric

Scénarios de transformation des données

Pourquoi transformer les données ?

  • Retirer ou corriger les données erronées des systèmes sources.
  • Convertir les types pour assurer l'uniformité.
  • Filtrer les données non pertinentes.
  • Combiner des données de plusieurs systèmes sources.

Schéma représentant deux tableaux combinés en un seul-

Transformer et analyser des données avec Microsoft Fabric

Scénarios de transformation des données

Pourquoi transformer les données ?

  • Retirer ou corriger les données erronées des systèmes sources.
  • Convertir les types pour assurer l'uniformité.
  • Filtrer les données non pertinentes.
  • Combiner des données de plusieurs systèmes sources.
  • Mettre les données dans un format mieux adapté à l'analyse et à la production de rapports.

Schéma représentant un grand tableau transformé en schéma en étoile

Transformer et analyser des données avec Microsoft Fabric

Nettoyage des données

  • Réduire les lignes non pertinentes (supprimer les premières/dernières lignes)
  • Supprimer les doublons
  • Supprimer les lignes vides
  • Supprimer les lignes en erreur
  • Convertir les types de données

Image d'un tableau source avec des entrées non valides en rouge et une flèche montrant leur retrait dans le tableau de destination

Transformer et analyser des données avec Microsoft Fabric

Filtrage des données

  • Réduire la portée des ensembles de données

    • Sélectionner seulement un sous-ensemble
    • Écarter les enregistrements ne respectant pas certains critères

  • Exemple : clause SQL WHERE

Capture d'une requête sélectionnant les données de la table Orders où la colonne State est égale à NY

Schéma montrant un tableau filtrant les lignes non liées à l'État de NY

Transformer et analyser des données avec Microsoft Fabric

Fusion et jointure des données

  • Joindre deux ensembles de données ou plus
  • Utile pour bâtir des schémas en étoile

Schéma illustrant la fusion de deux tableaux

Transformer et analyser des données avec Microsoft Fabric

Agréger et désagréger les données

  • Agréger : compiler et résumer les données

Tableau des commandes par État agrégé en un nouveau tableau avec le nombre total de commandes et le total des ventes par État

  • Désagréger : scinder les données, souvent une colonne en plusieurs

Tableau d'emplacements où « ville, État » est désagrégé en un nouveau tableau avec ville et État séparés

Transformer et analyser des données avec Microsoft Fabric

Outils d'exploration et de transformation des données

  • Dataflows
  • Data Wrangler

Deux captures juxtaposées montrant l'interface graphique de Dataflows et de Data Wrangler

  • Notebooks Spark
  • Scripts SQL

Deux captures juxtaposées : un notebook Spark et un script SQL

Transformer et analyser des données avec Microsoft Fabric

Dataflows

  • Interface graphique à faible codage
  • Nettoyage
  • Filtrage
  • Agrégation

Capture du concepteur Dataflow avec des requêtes d'exemple et des opérations de transformation disponibles

Transformer et analyser des données avec Microsoft Fabric

Data Wrangler

  • Outil basé sur notebook pour l'analyse exploratoire
  • Grille d'affichage des données
  • Statistiques sommaires dynamiques
  • Visualisations intégrées
  • Bibliothèque d'opérations de nettoyage courantes

Capture de l'interface de Data Wrangler montrant des opérations d'exemple

Transformer et analyser des données avec Microsoft Fabric

Notebooks Spark

  • Divers langages
  • Bibliothèques Python pour la manipulation
    • PySpark pour de grands ensembles de données
    • pandas pour de plus petits ensembles

Capture d'un notebook Spark avec du code PySpark d'exemple

Transformer et analyser des données avec Microsoft Fabric

Scripts SQL

  • Instructions T-SQL pour manipuler les données : SELECT, INSERT, UPDATE, DELETE
  • JOIN pour fusionner des données
  • CAST et CONVERT pour changer les types

Capture de l'éditeur SQL avec une requête SELECT d'exemple

Transformer et analyser des données avec Microsoft Fabric

Passons à la pratique !

Transformer et analyser des données avec Microsoft Fabric

Preparing Video For Download...