Remarques finales

Gérer les données manquantes avec des imputations en R

Michal Oleszak

Machine Learning Engineer

Ce que vous savez

Chapitre 1 : Le problème des données manquantes :

  • Modéliser des données incomplètes exige un traitement spécifique.
  • Trois mécanismes : MCAR, MAR et MNAR.
  • Les visualisations et tests statistiques éclairent les schémas de données manquantes.

Chapitre 2 : Imputation par donneur :

  • L'imputation par la moyenne est généralement un mauvais choix.
  • Imputation « hot-deck ».
  • Imputation par k plus proches voisins.
Gérer les données manquantes avec des imputations en R

Ce que vous savez

Chapitre 3 : Imputation fondée sur des modèles

  • Boucler sur les variables et les imputer jusqu'à convergence.
  • Reproduire la variabilité en tirant dans des lois conditionnelles.
  • Imputation par arbres avec forêts aléatoires.

Chapitre 4 : Incertitude due à l'imputation

  • Imputations multiples par bootstrap.
  • Imputations multiples avec MICE.
Gérer les données manquantes avec des imputations en R

Quelle méthode d'imputation choisir ?

Quelques repères :

  • Données massives ou exécution temps réel en production ?

    Utilisez l'imputation hot-deck.

  • Relations spécifiques entre variables fondées sur l'expertise ?

    Utilisez l'imputation fondée sur des modèles.

  • Pas besoin d'être très rapide et relations peu évidentes ?

    Utilisez l'imputation kNN ou par arbres.

Gérer les données manquantes avec des imputations en R

Comment estimer l'incertitude due à l'imputation ?

Quelques repères :

  • Doit être relativement rapide ?
  • Vous savez quels modèles utiliser et comment les spécifier ?

Utilisez MICE.

  • Vous préférez une méthode non paramétrique (kNN, hot-deck) ?
  • Vous ne voulez pas gérer les hypothèses de modèles spécifiques ?

Utilisez le bootstrap.

Gérer les données manquantes avec des imputations en R

Prochaines étapes

  • miceVignettes :

    • Imputation passive et post-traitement
    • Imputation de données multi-niveaux
    • Analyse de sensibilité

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL : Boca Raton.

  • Autres packages R : Amelia, mi

La couverture du livre « Flexible Imputation of Missing Data » de Stef van Buuren.

Gérer les données manquantes avec des imputations en R

Félicitations et bonne continuation !

Gérer les données manquantes avec des imputations en R

Preparing Video For Download...