Imputacja z fancyimpute

Braki danych w Pythonie

Suraj Donthi

Deep Learning & Computer Vision Consultant

Pakiet fancyimpute

  • Pakiet zawiera zaawansowane techniki
  • Wykorzystuje algorytmy uczenia maszynowego do imputacji brakujących wartości
  • Używa innych kolumn do przewidywania i uzupełniania brakujących wartości
Braki danych w Pythonie

Techniki imputacji w fancyimpute

  • KNN (K najbliższych sąsiadów)
  • MICE (wielokrotna imputacja równaniami łańcuchowymi)
Braki danych w Pythonie

Imputacja metodą K najbliższych sąsiadów

  • Wybór K najbliższych punktów danych na podstawie dostępnych cech
  • Uzupełnienie brakującej cechy średnią wybranych punktów

GIF K najbliższych sąsiadów

Braki danych w Pythonie

Imputacja metodą K najbliższych sąsiadów

from fancyimpute import KNN
diabetes_knn = diabetes.copy(deep=True)
knn_imputer = KNN()
diabetes_knn.iloc[:, :] = knn_imputer.fit_transform(diabetes_knn)
Braki danych w Pythonie

Wielokrotna imputacja równaniami łańcuchowymi (MICE)

  • Wielokrotna regresja na losowych próbkach danych
  • Obliczenie średniej z wyników regresji
  • Imputacja brakującej wartości cechy dla punktu danych
Braki danych w Pythonie

Wielokrotna imputacja równaniami łańcuchowymi (MICE)

from fancyimpute import IterativeImputer

diabetes_MICE = diabetes.copy(deep=True)
MICE_imputer = IterativeImputer()
diabetes_MICE.iloc[:, :] = MICE_imputer.fit_transform(diabetes_MICE)
Braki danych w Pythonie

Podsumowanie

  • Imputacja brakujących wartości metodami uczenia maszynowego
  • KNN wyszukuje najbardziej podobne punkty do imputacji
  • MICE stosuje wielokrotną regresję do imputacji
  • MICE to bardzo solidny model imputacji
Braki danych w Pythonie

Czas na ćwiczenia!

Braki danych w Pythonie

Preparing Video For Download...