Imputare cu fancyimpute

Gestionarea datelor lipsă în Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Pachetul fancyimpute

  • Pachetul conține tehnici avansate
  • Utilizează algoritmi de machine learning pentru imputarea valorilor lipsă
  • Folosește celelalte coloane pentru a prezice și imputa valorile lipsă
Gestionarea datelor lipsă în Python

Tehnici de imputare din fancyimpute

  • KNN sau K-Nearest Neighbor
  • MICE sau Multiple Imputation by Chained Equations
Gestionarea datelor lipsă în Python

Imputare K-Nearest Neighbor

  • Se selectează cei mai apropiați K vecini pe baza caracteristicilor fără valori lipsă
  • Media punctelor selectate completează caracteristica lipsă

GIF K-Nearest Neighbors

Gestionarea datelor lipsă în Python

Imputare K-Nearest Neighbor

from fancyimpute import KNN
diabetes_knn = diabetes.copy(deep=True)
knn_imputer = KNN()
diabetes_knn.iloc[:, :] = knn_imputer.fit_transform(diabetes_knn)
Gestionarea datelor lipsă în Python

Imputări multiple prin ecuații înlănțuite (MICE)

  • Se efectuează regresii multiple pe eșantioane aleatorii din date
  • Se calculează media valorilor obținute din regresii
  • Se imputează valoarea lipsă pentru punctul de date
Gestionarea datelor lipsă în Python

Imputări multiple prin ecuații înlănțuite (MICE)

from fancyimpute import IterativeImputer

diabetes_MICE = diabetes.copy(deep=True)
MICE_imputer = IterativeImputer()
diabetes_MICE.iloc[:, :] = MICE_imputer.fit_transform(diabetes_MICE)
Gestionarea datelor lipsă în Python

Rezumat

  • Tehnici de machine learning pentru imputarea valorilor lipsă
  • KNN identifică cele mai similare puncte pentru imputare
  • MICE efectuează regresii multiple pentru imputare
  • MICE este un model robust de imputare
Gestionarea datelor lipsă în Python

Să exersăm!

Gestionarea datelor lipsă în Python

Preparing Video For Download...