Données manquantes et imputation

Introduction à Python dans Power BI

Jacob H. Marquez

Data Scientist

Qu'est-ce qu'une donnée manquante ?

Valeurs courantes pour « manquant » :

  • null
  • NA
  • 99
  • ""
Introduction à Python dans Power BI

Qu'est-ce qu'une donnée manquante ?

Valeurs courantes pour « manquant » :

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Introduction à Python dans Power BI

Pourquoi des données manquent-elles ?

  • Un participant a oublié ou refusé de répondre à une question d'enquête
  • Un participant a abandonné avant la seconde partie d'une étude
  • Un dysfonctionnement de l'instrument a affecté les mesures
  • Des lois sur la confidentialité limitent l'usage des données
Introduction à Python dans Power BI

Est-ce manquant au hasard ?

Manquant au hasard

Tableau des précipitations, en pouces, pour trois villes : Seattle, New York et Paris.

Introduction à Python dans Power BI

Est-ce manquant au hasard ?

Manquant non au hasard

Tableau des précipitations, en pouces, pour trois villes : Seattle, New York et Paris. Une ligne de Seattle manque.

Introduction à Python dans Power BI

Est-ce manquant au hasard ?

Manquant non au hasard

Tableau des précipitations, en pouces, pour trois villes : Seattle, New York et Paris. Une ligne de Seattle manque.

  • L'instrument ne détecte pas les faibles valeurs
  • Certains groupes divulguent peu d'informations
Introduction à Python dans Power BI

Comment traiter les données manquantes ?

Manquant non au hasard

  • Mettre l'analyse en pause
  • Comprendre les raisons des manques
  • Collecter plus de données
  • Documenter clairement limites et hypothèses

Manquant au hasard

  • Supprimer les observations
  • Ajouter une variable indicatrice : manquant = 1, sinon = 0
  • Imputation
Introduction à Python dans Power BI

Imputation

Définition : remplacer une valeur manquante par une autre.

Types d'imputation :

  • Moyenne
  • Médiane
  • Mode
  • Valeurs précédente ou suivante

Idéal quand 5 % ou moins de la colonne est manquant.

Pensez à trier les valeurs !

Introduction à Python dans Power BI

Imputation – Exemple

Manquant au hasard

Tableau des précipitations, en pouces, pour trois villes : Seattle, New York et Paris, avec des observations manquantes.

Imputation par la médiane

Tableau des précipitations, en pouces, pour trois villes : Seattle, New York et Paris. Les manques sont comblés par la médiane de la ville.

Introduction à Python dans Power BI

Jeu de données

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Introduction à Python dans Power BI

Passons à la pratique !

Introduction à Python dans Power BI

Preparing Video For Download...