Nettoyage et filtrage des données

Transformer et analyser des données avec Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Outils de nettoyage des données

 

 

Icônes représentant trois outils : SQL, Spark et Dataflows

Transformer et analyser des données avec Microsoft Fabric

Gérer les lignes vides

  • Supprimer une ligne quand toute la ligne est vide

 

Schéma montrant un tableau avec plusieurs lignes vides transformé en un tableau où les lignes vides ont été supprimées

Transformer et analyser des données avec Microsoft Fabric

Gérer les lignes vides avec Dataflows

  • Transformation Remove blank rows

 

Capture d'écran du menu Remove rows dans Dataflow, mettant en évidence l'option pour supprimer les lignes vides, avec un exemple de tableau avant/après

Transformer et analyser des données avec Microsoft Fabric

Gérer les lignes vides avec Spark

  • Fonction DataFrame dropna( )
  • Peut supprimer une ligne avec au moins une valeur nulle, ou uniquement si toutes les valeurs sont nulles

Exemple de tableau avant/après la suppression des lignes avec deux variantes de la fonction dropna

Transformer et analyser des données avec Microsoft Fabric

Gérer les doublons de lignes

  • Supprimer les doublons de lignes

 

Schéma montrant un tableau avec une ligne dupliquée transformé en un tableau où l'un des doublons a été supprimé

Transformer et analyser des données avec Microsoft Fabric

Gérer les doublons avec Dataflows

  • Transformation Remove duplicates

 

Capture d'écran du menu Remove rows dans Dataflow, mettant en évidence l'option pour supprimer les doublons, avec un exemple de tableau avant/après

Transformer et analyser des données avec Microsoft Fabric

Gérer les doublons avec Spark

  • Fonction DataFrame dropDuplicates( )

 

Schéma montrant un tableau avec une ligne dupliquée transformé en un tableau où l'un des doublons a été supprimé après l'appel à dropDuplicates

Transformer et analyser des données avec Microsoft Fabric

Remplacer des valeurs

  • Remplacer, dans une colonne, certaines valeurs par d'autres.
  • Sert aussi à renseigner des cellules vides.

 

Schéma montrant un tableau où la valeur ABC sur quelques enregistrements est remplacée par XYA.

Transformer et analyser des données avec Microsoft Fabric

Remplacer des valeurs avec Dataflows

  • Transformation Replace values

 

Capture d'écran de la transformation Replace values dans Dataflow, avec un exemple avant/après remplaçant des valeurs vides par la chaîne « (Unknown) »

Transformer et analyser des données avec Microsoft Fabric

Remplacer des valeurs avec Spark

  • Fonction DataFrame replace( )

 

Schéma montrant un tableau où la valeur N/A sur quelques enregistrements est remplacée par la chaîne « Unknown » après l'appel à la fonction PySpark replace

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données

  • Cohérence des types de données dans le modèle
  • Permet de comparer les valeurs

Image représentant une colonne stockant des nombres comme texte convertie en vrais nombres

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données

  • Cohérence des types de données dans le modèle.
  • Permet la comparaison entre valeurs.
  • Permet des opérations spécifiques au type.
    • Opérations arithmétiques sur les colonnes numériques.
    • Opérations date/heure sur les colonnes de date/heure.

Exemple de transformations disponibles sur une colonne texte (minuscules, majuscules, trim) et sur une colonne numérique (somme, maximum)

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données avec Dataflows

  • Menu contextuel (option 1) :
    1. Sélectionnez une colonne dans la vue des données.
    2. Cliquez sur l'icône à gauche de l'en-tête de colonne.

Capture d'écran mettant en évidence l'icône à gauche de l'en-tête d'une colonne donnant accès au menu contextuel Change type

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données avec Dataflows

  • Menu contextuel (option 1) :
    1. Sélectionnez une colonne dans la vue des données.
    2. Cliquez sur l'icône à gauche de l'en-tête.
    3. Choisissez un nouveau type dans la liste.

Capture d'écran du menu contextuel Change type accessible en cliquant sur le type de données dans l'en-tête d'une colonne de la vue des données

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données avec Dataflows

  • Menu contextuel (option 2) :
    1. Sélectionnez une colonne dans la vue des données.
    2. Cliquez droit sur l'en-tête de colonne.

Capture d'écran mettant en évidence l'en-tête d'une colonne dont on souhaite changer le type

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données avec Dataflows

  • Ajouter une transformation :
    1. Sélectionnez une colonne dans la vue des données.
    2. Ajoutez une transformation en cliquant sur (+) dans la vue du diagramme.
    3. Cliquez sur Change type dans le menu contextuel et choisissez un nouveau type.

Capture d'écran montrant une requête où la transformation Change Type est ajoutée

Transformer et analyser des données avec Microsoft Fabric

Corriger les types de données avec Spark

  • Fonction DataFrame cast( )
df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))
  • Exemple :
# Convert the [orderID] column to integer
df = df.withColumn("orderID", df["orderID"].cast("integer"))
Transformer et analyser des données avec Microsoft Fabric

Filtrage des données

  • Inclure ou exclure des lignes selon une condition.
SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

Schéma montrant un tableau filtrant toutes les lignes non liées à l'État de NY

Transformer et analyser des données avec Microsoft Fabric

Filtrer les données avec Dataflows

  • Utiliser la transformation Filter

Capture d'écran du filtre appliqué à une colonne

Transformer et analyser des données avec Microsoft Fabric

Filtrer les données avec Spark

  • Fonction DataFrame filter( )
  • where( ) est un alias de filter( )
df.filter( <condition> )
  • Exemple :
# Retourner uniquement les lignes où State = 'NY'
df.filter( df.state == 'NY' )
Transformer et analyser des données avec Microsoft Fabric

Passons à la pratique !

Transformer et analyser des données avec Microsoft Fabric

Preparing Video For Download...