Données manquantes et imputation

Introduction à Python dans Power BI

Jacob H. Marquez

Data Scientist

Qu'est-ce que des données manquantes ?

Valeurs courantes pour « manquant » :

  • null
  • NA
  • 99
  • ""
Introduction à Python dans Power BI

Qu'est-ce que des données manquantes ?

Valeurs courantes pour « manquant » :

  • null
  • NA
  • 99
  • ""
entité année pêché
Australie 1988 153148
Australie 1989 null
Australie 1990 567895
Australie 1991 632987
Australie 1992 643578
Australie 1993 null
Introduction à Python dans Power BI

Pourquoi des données manquent-elles ?

  • Une personne a oublié ou refusé de répondre à une question de sondage
  • Une personne a quitté avant la deuxième partie d'une étude
  • Un pépin avec l'instrument de mesure
  • Des lois sur la vie privée limitent l'usage des données
Introduction à Python dans Power BI

Est-ce manquant aléatoirement ?

Manquant aléatoirement

Tableau des précipitations, en pouces, pour trois villes : Seattle, New York et Paris.

Introduction à Python dans Power BI

Est-ce manquant aléatoirement ?

Manquant non aléatoirement

Tableau des précipitations, en pouces, pour trois villes : Seattle, New York et Paris. Une ligne de Seattle manque.

Introduction à Python dans Power BI

Est-ce manquant aléatoirement ?

Manquant non aléatoirement

Tableau des précipitations, en pouces, pour trois villes : Seattle, New York et Paris. Une ligne de Seattle manque.

  • L'instrument ne détecte pas les faibles valeurs
  • Certaines personnes divulguent rarement des infos
Introduction à Python dans Power BI

Comment traiter les données manquantes ?

Manquant non aléatoirement

  • Mettre l'analyse sur pause
  • Comprendre les causes des valeurs manquantes
  • Recueillir plus de données
  • Documenter clairement limites et hypothèses

Manquant aléatoirement

  • Supprimer les observations
  • Ajouter une variable indicatrice : manquant = 1, sinon = 0
  • Imputation
Introduction à Python dans Power BI

Imputation

Définition : remplacer une valeur manquante par une autre.

Types d'imputation :

  • Moyenne
  • Médiane
  • Mode
  • Valeurs précédente ou suivante

Idéal quand 5 % ou moins de la colonne est manquant.

Bien trier les valeurs !

Introduction à Python dans Power BI

Imputation – Exemple

Manquant aléatoirement

Tableau des précipitations, en pouces, pour Seattle, New York et Paris, avec des observations manquantes.

Imputation par la médiane

Tableau des précipitations, en pouces, pour Seattle, New York et Paris. Observations manquantes comblées par la médiane de la ville.

Introduction à Python dans Power BI

Ensemble de données

Facture CodeStock Description Quantité DateFacture Prix ID client
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Introduction à Python dans Power BI

Passons à la pratique !

Introduction à Python dans Power BI

Preparing Video For Download...