Imputation avec fancyimpute

Gérer les données manquantes avec Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Progiciel fancyimpute

  • Le progiciel offre des techniques avancées
  • Utilise des algorithmes de Machine Learning pour imputer les valeurs manquantes
  • S'appuie sur d'autres colonnes pour prédire et imputer les valeurs manquantes
Gérer les données manquantes avec Python

Techniques d'imputation de Fancyimpute

  • KNN ou K plus proches voisins
  • MICE ou imputations multiples par équations enchaînées
Gérer les données manquantes avec Python

Imputation par K plus proches voisins

  • Sélectionner K points de données les plus proches/similaires à partir des caractéristiques non manquantes
  • Faire la moyenne de ces points pour remplir la caractéristique manquante

GIF K plus proches voisins

Gérer les données manquantes avec Python

Imputation par K plus proches voisins

from fancyimpute import KNN
diabetes_knn = diabetes.copy(deep=True)
knn_imputer = KNN()
diabetes_knn.iloc[:, :] = knn_imputer.fit_transform(diabetes_knn)
Gérer les données manquantes avec Python

Imputations multiples par équations enchaînées (MICE)

  • Effectuer des régressions multiples sur un échantillon aléatoire des données
  • Prendre la moyenne des valeurs issues des régressions
  • Imputer la valeur manquante de la caractéristique pour le point de données
Gérer les données manquantes avec Python

Imputations multiples par équations enchaînées (MICE)

from fancyimpute import IterativeImputer

diabetes_MICE = diabetes.copy(deep=True)
MICE_imputer = IterativeImputer()
diabetes_MICE.iloc[:, :] = MICE_imputer.fit_transform(diabetes_MICE)
Gérer les données manquantes avec Python

Résumé

  • Utiliser des techniques de Machine Learning pour imputer les valeurs manquantes
  • KNN trouve les points les plus similaires pour l'imputation
  • MICE effectue des régressions multiples pour imputer
  • MICE est un modèle très robuste pour l'imputation
Gérer les données manquantes avec Python

Passons à la pratique !

Gérer les données manquantes avec Python

Preparing Video For Download...