Tout rassembler

Gérer les données manquantes avec des imputations en R

Michal Oleszak

Machine Learning Engineer

Étude de cas : libertés civiles en Afrique

head(africa)

  year      country gdp_pc  infl trade    civlib population
1 1972 Burkina Faso    377 -2.92 29.69 0.5000000    5848380
2 1973 Burkina Faso    376  7.60 31.31 0.5000000    5958700
3 1974 Burkina Faso    393  8.72 35.22 0.3333333    6075700
4 1975 Burkina Faso    416 18.76 40.11 0.3333333    6202000
5 1976 Burkina Faso    435 -8.40 37.76 0.5000000    6341030
6 1977 Burkina Faso    448 29.99 41.11 0.6666667    6486870

¹ Data source: https://scholar.harvard.edu/rbates/data

Modéliser des données incomplètes

Objectif : étudier le lien entre les libertés civiles, civlib, et le PIB par habitant, gdp_pc.

Visualiser les données incomplètes.
- Quelles variables manquent ?
- Quels mécanismes d'absence de données ?
Imputer les données manquantes et vérifier la qualité de l'imputation.
Exécuter un modèle sur les données imputées en tenant compte de l'incertitude d'imputation.

Ce dont vous aurez besoin

aggr()
spineMiss()
mice() - with() - pool()

Évaluer la qualité de l'imputation avec MICE

mice() produit plusieurs jeux de données imputés.
Les visualiser avec les fonctions de VIM peut être fastidieux.
Le package mice propose ses propres graphiques qui gèrent automatiquement plusieurs jeux de données.

nhanes_multiimp <- mice(nhanes, m = 5, defaultMethod = "pmm")

stripplot(nhanes_multiimp, 
          Weight ~ Height | .imp,
          pch = 20, cex = 2)

Strip plot

Une grille de six nuages de points Taille vs Poids. Chaque graphique met en couleur les valeurs imputées. Celles-ci sont proches des valeurs observées et ne se distinguent que par la couleur.

Mettez en pratique ce que vous avez appris !

Gérer les données manquantes avec des imputations en R