Visualiser les profils de valeurs manquantes

Traitement des données manquantes par imputation dans R

Michal Oleszak

Machine Learning Engineer

Limites de l'approche par tests

Détecter les profils de valeurs manquantes par des tests statistiques peut être lourd.
Le test t suppose beaucoup de choses sur les données.
Les inférences basées sur les valeurs p posent problème (seuils de signification, p-hacking).

Visualiser les données manquantes

Autre approche : la visualisation !
Simple à utiliser.
Permet de repérer les profils de données manquantes.
Donne aussi des indices sur la qualité des données.

Le paquet VIM offre d'excellents outils pour tracer les valeurs manquantes. Dans cette leçon :

Graphique d'agrégation
Graphique en arête
Graphique mosaïque

Graphique d'agrégation

nhanes %>% aggr(combined = TRUE, numbers = TRUE)

Un graphique d'agrégation : une grille présentant toutes les combinaisons de valeurs observées et manquantes dans les variables de l'ensemble biopics. Pour chaque combinaison, on affiche le pourcentage d'observations correspondant.

Graphique en arête

nhanes %>% select(Gender, TotChol) %>% spineMiss()

Le graphique en arête comporte deux barres, pour hommes et femmes. Dans chaque barre, on montre le pourcentage de valeurs manquantes de la variable cholestérol total pour le genre correspondant.

Graphique mosaïque

nhanes %>% mosaicMiss(highlight = "TotChol", plotvars = c("Gender", "PhysActive"))

Un graphique mosaïque : un ensemble de tuiles formant un rectangle. Chaque tuile correspond à une valeur de « Gender » et une valeur de « PhysActive ». Dans chaque tuile, on indique le pourcentage de valeurs manquantes pour la variable cholestérol total.

Traçons ce qui manque !

Traitement des données manquantes par imputation dans R