Імпутація за допомогою fancyimpute

Робота з пропущеними даними в Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Пакет fancyimpute

  • Пакет містить просунуті методи
  • Використовує алгоритми машинного навчання для заповнення пропусків
  • Задіює інші стовпці, щоб передбачити й заповнити пропущені значення
Робота з пропущеними даними в Python

Методи імпутації у fancyimpute

  • KNN або K-Nearest Neighbor
  • MICE або Multiple Imputation by Chained Equations
Робота з пропущеними даними в Python

Імпутація K-Nearest Neighbor

  • Оберіть K найближчих чи подібних точок даних, використовуючи всі непорожні ознаки
  • Візьміть середнє з вибраних точок, щоб заповнити пропущену ознаку

GIF «K найближчих сусідів»

Робота з пропущеними даними в Python

Імпутація K-Nearest Neighbor

from fancyimpute import KNN
diabetes_knn = diabetes.copy(deep=True)
knn_imputer = KNN()
diabetes_knn.iloc[:, :] = knn_imputer.fit_transform(diabetes_knn)
Робота з пропущеними даними в Python

Multiple Imputations by Chained Equations (MICE)

  • Виконайте кілька регресій на випадковій вибірці даних
  • Візьміть середнє зі значень множинної регресії
  • Імпутуйте пропущене значення ознаки для точки даних
Робота з пропущеними даними в Python

Multiple Imputations by Chained Equations (MICE)

from fancyimpute import IterativeImputer

diabetes_MICE = diabetes.copy(deep=True)
MICE_imputer = IterativeImputer()
diabetes_MICE.iloc[:, :] = MICE_imputer.fit_transform(diabetes_MICE)
Робота з пропущеними даними в Python

Підсумки

  • Машинне навчання для імпутації пропусків
  • KNN знаходить найподібніші точки для заповнення
  • MICE виконує множинну регресію для імпутації
  • MICE — дуже надійний підхід до імпутації
Робота з пропущеними даними в Python

Давайте потренуємось!

Робота з пропущеними даними в Python

Preparing Video For Download...