Imputing mit fancyimpute

Umgang mit fehlenden Daten in Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

fancyimpute-Paket

  • Paket mit fortgeschrittenen Techniken
  • Nutzt Machine-Learning-Algorithmen zum Imputieren fehlender Werte
  • Verwendet andere Spalten, um fehlende Werte vorherzusagen und zu imputieren
Umgang mit fehlenden Daten in Python

Imputationsmethoden in fancyimpute

  • KNN oder K-Nearest Neighbor
  • MICE oder Multiple Imputation by Chained Equations
Umgang mit fehlenden Daten in Python

K-Nearest-Neighbor-Imputation

  • Wähle K nächste bzw. ähnliche Datenpunkte über alle nicht-fehlenden Features
  • Nutze den Durchschnitt dieser Punkte, um das fehlende Feature zu füllen

K Nearest Neighbors GIF

Umgang mit fehlenden Daten in Python

K-Nearest-Neighbor-Imputation

from fancyimpute import KNN
diabetes_knn = diabetes.copy(deep=True)
knn_imputer = KNN()
diabetes_knn.iloc[:, :] = knn_imputer.fit_transform(diabetes_knn)
Umgang mit fehlenden Daten in Python

Multiple Imputation by Chained Equations (MICE)

  • Führe multiple Regressionen auf Zufallsstichproben der Daten aus
  • Bilde den Mittelwert der Regressionsschätzungen
  • Imputiere damit den fehlenden Feature-Wert für den Datenpunkt
Umgang mit fehlenden Daten in Python

Multiple Imputation by Chained Equations (MICE)

from fancyimpute import IterativeImputer

diabetes_MICE = diabetes.copy(deep=True)
MICE_imputer = IterativeImputer()
diabetes_MICE.iloc[:, :] = MICE_imputer.fit_transform(diabetes_MICE)
Umgang mit fehlenden Daten in Python

Zusammenfassung

  • Fehlende Werte mit Machine-Learning-Methoden imputieren
  • KNN findet die ähnlichsten Punkte zur Imputation
  • MICE nutzt multiple Regression zur Imputation
  • MICE ist ein sehr robustes Modell zur Imputation
Umgang mit fehlenden Daten in Python

Lass uns üben!

Umgang mit fehlenden Daten in Python

Preparing Video For Download...