Nettoyage et filtrage des données

Transformer et analyser des données avec Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Outils de nettoyage des données

 

 

Icônes représentant trois outils : SQL, Spark et Dataflows

Transformer et analyser des données avec Microsoft Fabric

Gestion des lignes vides

  • Supprimer la ligne quand elle est entièrement vide

 

Schéma montrant un tableau avec plusieurs lignes vides transformé en un tableau où les lignes vides ont été supprimées

Transformer et analyser des données avec Microsoft Fabric

Gérer les lignes vides avec Dataflows

  • Transformation Supprimer les lignes vides

 

Capture d'écran du menu Supprimer les lignes dans Dataflow, mettant en évidence l'option pour supprimer les lignes vides, avec un exemple de tableau avant et après

Transformer et analyser des données avec Microsoft Fabric

Gérer les lignes vides avec Spark

  • Fonction DataFrame dropna( )
  • Peut supprimer une ligne avec des valeurs nulles quelconques ou toutes nulles

Exemple de tableau avant et après suppression des lignes à l'aide de deux variantes de la fonction dropna

Transformer et analyser des données avec Microsoft Fabric

Gestion des doublons

  • Supprimer les lignes en double

 

Schéma montrant un tableau avec une ligne en double transformé en un tableau où un des doublons a été supprimé

Transformer et analyser des données avec Microsoft Fabric

Gérer les doublons avec Dataflows

  • Transformation Supprimer les doublons

 

Capture d'écran du menu Supprimer les lignes dans Dataflow, mettant en évidence l'option pour supprimer les doublons, avec un exemple de tableau avant et après

Transformer et analyser des données avec Microsoft Fabric

Gérer les doublons avec Spark

  • Fonction DataFrame dropDuplicates( )

 

Schéma montrant un tableau avec une ligne en double transformé en un tableau où un des doublons a été supprimé après l'appel à dropDuplicates

Transformer et analyser des données avec Microsoft Fabric

Remplacement de valeurs

  • Remplacer les occurrences d'une valeur dans une colonne par une autre.
  • Sert aussi à remplacer les cellules vides par une valeur.

 

Schéma montrant un tableau où la valeur ABC de quelques enregistrements est remplacée par XYA.

Transformer et analyser des données avec Microsoft Fabric

Remplacer des valeurs avec Dataflows

  • Transformation Remplacer des valeurs

 

Capture d'écran de l'option de transformation Remplacer des valeurs dans Dataflow, avec un exemple de tableau avant et après le remplacement des vides par « (Unknown) »

Transformer et analyser des données avec Microsoft Fabric

Remplacer des valeurs avec Spark

  • Fonction DataFrame replace( )

 

Schéma montrant un tableau où la valeur N/A de quelques enregistrements est remplacée par « Unknown » après l'appel à la fonction PySpark replace

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données

  • Cohérence des types de données dans le modèle
  • Permet de comparer des valeurs

Image représentant une colonne de données stockant des nombres comme texte, convertie en nombres réels

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données

  • Cohérence des types de données dans le modèle.
  • Permet la comparaison entre valeurs.
  • Permet des opérations propres au type.
    • Opérations arithmétiques sur les colonnes numériques.
    • Opérations date/heure sur les colonnes de dates/heures.

Exemple de transformations offertes sur une colonne texte, comme minuscules, majuscules et suppression des espaces, et sur une colonne numérique, comme somme et maximum

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données avec Dataflows

  • Menu contextuel (option 1) :
    1. Sélectionnez une colonne dans l'affichage des données.
    2. Cliquez sur l'icône à gauche de l'en-tête de colonne.

Capture d'écran soulignant l'icône à gauche de l'en-tête d'une colonne donnant accès au menu contextuel Changer le type

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données avec Dataflows

  • Menu contextuel (option 1) :
    1. Sélectionnez une colonne dans l'affichage des données.
    2. Cliquez sur l'icône à gauche de l'en-tête de colonne.
    3. Choisissez un nouveau type de données dans la liste.

Capture d'écran du menu contextuel Changer le type accessible en cliquant sur le type de données dans l'en-tête de colonne

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données avec Dataflows

  • Menu contextuel (option 2) :
    1. Sélectionnez une colonne dans l'affichage des données.
    2. Cliquez avec le bouton droit sur l'en-tête de colonne.

Capture d'écran soulignant l'en-tête d'une colonne dont on souhaite changer le type de données

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données avec Dataflows

  • Ajouter une transformation :
    1. Sélectionnez une colonne dans l'affichage des données.
    2. Ajoutez une transformation en cliquant sur (+) dans la vue du diagramme.
    3. Cliquez sur Changer le type dans le menu contextuel et sélectionnez un nouveau type de données.

Capture d'écran montrant une requête où la transformation Changer le type est ajoutée

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données avec Spark

  • Fonction DataFrame cast( )
df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))
  • Exemple :
# Convert the [orderID] column to integer
df = df.withColumn("orderID", df["orderID"].cast("integer"))
Transformer et analyser des données avec Microsoft Fabric

Filtrage des données

  • Inclure ou exclure des lignes selon une condition.
SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Schéma montrant un tableau filtrant toute ligne non liée à l'État de NY

Transformer et analyser des données avec Microsoft Fabric

Filtrer les données avec Dataflows

  • Utiliser la transformation Filtrer

Capture d'écran du filtre appliqué à une colonne

Transformer et analyser des données avec Microsoft Fabric

Filtrer les données avec Spark

  • Fonction DataFrame filter( )
  • where( ) est un alias de filter( )
df.filter( <condition> )
  • Exemple :
# Return only DataFrame rows whete State = 'NY'
df.filter( df.state == 'NY' )
Transformer et analyser des données avec Microsoft Fabric

Passons à la pratique !

Transformer et analyser des données avec Microsoft Fabric

Preparing Video For Download...