Imputace pomocí fancyimpute

Dealing with Missing Data in Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Balíček fancyimpute

  • Balíček obsahuje pokročilé techniky
  • Využívá algoritmy strojového učení k imputaci chybějících hodnot
  • Používá ostatní sloupce k předpovědi a doplnění chybějících hodnot
Dealing with Missing Data in Python

Techniky imputace ve fancyimpute

  • KNN neboli K-Nearest Neighbor
  • MICE neboli Multiple Imputation by Chained Equations
Dealing with Missing Data in Python

Imputace metodou K-Nearest Neighbor

  • Vyber K nejbližších nebo podobných bodů pomocí všech vyplněných příznaků
  • Zprůměruj vybrané body a doplň chybějící hodnotu

GIF K-Nearest Neighbors

Dealing with Missing Data in Python

Imputace metodou K-Nearest Neighbor

from fancyimpute import KNN
diabetes_knn = diabetes.copy(deep=True)
knn_imputer = KNN()
diabetes_knn.iloc[:, :] = knn_imputer.fit_transform(diabetes_knn)
Dealing with Missing Data in Python

Multiple Imputations by Chained Equations (MICE)

  • Proveď vícenásobné regrese na náhodném vzorku dat
  • Zprůměruj hodnoty z vícenásobných regresí
  • Doplň chybějící hodnotu příznaku pro daný bod
Dealing with Missing Data in Python

Multiple Imputations by Chained Equations (MICE)

from fancyimpute import IterativeImputer

diabetes_MICE = diabetes.copy(deep=True)
MICE_imputer = IterativeImputer()
diabetes_MICE.iloc[:, :] = MICE_imputer.fit_transform(diabetes_MICE)
Dealing with Missing Data in Python

Shrnutí

  • Používá techniky strojového učení k imputaci chybějících hodnot
  • KNN hledá nejpodobnější body pro imputaci
  • MICE provádí vícenásobnou regresi pro imputaci
  • MICE je velmi robustní model pro imputaci
Dealing with Missing Data in Python

Pojďme cvičit!

Dealing with Missing Data in Python

Preparing Video For Download...