Mettre le tout ensemble

Traitement des données manquantes par imputation dans R

Michal Oleszak

Machine Learning Engineer

Étude de cas : libertés civiles en Afrique

head(africa)

  year      country gdp_pc  infl trade    civlib population
1 1972 Burkina Faso    377 -2.92 29.69 0.5000000    5848380
2 1973 Burkina Faso    376  7.60 31.31 0.5000000    5958700
3 1974 Burkina Faso    393  8.72 35.22 0.3333333    6075700
4 1975 Burkina Faso    416 18.76 40.11 0.3333333    6202000
5 1976 Burkina Faso    435 -8.40 37.76 0.5000000    6341030
6 1977 Burkina Faso    448 29.99 41.11 0.6666667    6486870

¹ Data source: https://scholar.harvard.edu/rbates/data

Modéliser des données incomplètes

Objectif : examiner le lien entre les libertés civiles, civlib, et le PIB par habitant, gdp_pc.

Visualiser les données incomplètes.
- Quelles variables manquent ?
- Quels pourraient être les mécanismes d'absence ?
Imputer les données manquantes et évaluer la qualité.
Exécuter un modèle sur les données imputées, en tenant compte de l'incertitude d'imputation.

Outils requis

aggr()
spineMiss()
mice() - with() - pool()

Évaluer la qualité de l'imputation avec MICE

mice() produit plusieurs ensembles imputés.
Les visualiser un à un avec les fonctions de VIM peut être lourd.
Le paquet mice offre ses propres graphiques qui gèrent automatiquement les ensembles multiples.

nhanes_multiimp <- mice(nhanes, m = 5, defaultMethod = "pmm")

stripplot(nhanes_multiimp, 
          Weight ~ Height | .imp,
          pch = 20, cex = 2)

Strip plot

Une grille de six nuages de points Taille vs Poids. Chaque graphique met en couleur les valeurs imputées. Celles-ci sont proches des valeurs observées et se confondent, sauf par la couleur.

Passons à la pratique !

Traitement des données manquantes par imputation dans R