Imputering med fancyimpute

Hantera saknade värden i Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Paketet fancyimpute

  • Paketet innehåller avancerade tekniker
  • Använder maskininlärningsalgoritmer för att imputera saknade värden
  • Använder andra kolumner för att förutsäga och imputera saknade värden
Hantera saknade värden i Python

Imputeringstekniker i fancyimpute

  • KNN eller K-Nearest Neighbor
  • MICE eller Multiple Imputation by Chained Equations
Hantera saknade värden i Python

K-Nearest Neighbor-imputering

  • Välj K närmaste eller liknande datapunkter med hjälp av alla icke-saknade särdrag
  • Ta medelvärdet av de valda datapunkterna för att fylla i det saknade särdragets värde

K Nearest Neighbors GIF

Hantera saknade värden i Python

K-Nearest Neighbor-imputering

from fancyimpute import KNN
diabetes_knn = diabetes.copy(deep=True)
knn_imputer = KNN()
diabetes_knn.iloc[:, :] = knn_imputer.fit_transform(diabetes_knn)
Hantera saknade värden i Python

Multiple Imputations by Chained Equations (MICE)

  • Utför multipla regressioner på ett slumpmässigt urval av data
  • Ta medelvärdet av de multipla regressionsvärdena
  • Imputera det saknade särdragsvärdet för datapunkten
Hantera saknade värden i Python

Multiple Imputations by Chained Equations (MICE)

from fancyimpute import IterativeImputer

diabetes_MICE = diabetes.copy(deep=True)
MICE_imputer = IterativeImputer()
diabetes_MICE.iloc[:, :] = MICE_imputer.fit_transform(diabetes_MICE)
Hantera saknade värden i Python

Sammanfattning

  • Maskininlärningstekniker används för att imputera saknade värden
  • KNN hittar de mest liknande punkterna för imputering
  • MICE utför multipel regression för imputering
  • MICE är en mycket robust modell för imputering
Hantera saknade värden i Python

Nu kör vi en övning!

Hantera saknade värden i Python

Preparing Video For Download...