Imputación con fancyimpute

Cómo tratar datos faltantes en Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Paquete fancyimpute

  • El paquete incluye técnicas avanzadas
  • Usa algoritmos de Machine Learning para imputar valores faltantes
  • Usa otras columnas para predecir e imputar los valores faltantes
Cómo tratar datos faltantes en Python

Técnicas de imputación de fancyimpute

  • KNN o K-Nearest Neighbor
  • MICE o Multiple Imputation by Chained Equations
Cómo tratar datos faltantes en Python

Imputación con K-Nearest Neighbor

  • Selecciona K puntos de datos más cercanos o similares usando todas las variables no faltantes
  • Promedia esos puntos para rellenar la variable faltante

GIF de K Nearest Neighbors

Cómo tratar datos faltantes en Python

Imputación con K-Nearest Neighbor

from fancyimpute import KNN
diabetes_knn = diabetes.copy(deep=True)
knn_imputer = KNN()
diabetes_knn.iloc[:, :] = knn_imputer.fit_transform(diabetes_knn)
Cómo tratar datos faltantes en Python

Múltiples imputaciones por ecuaciones encadenadas (MICE)

  • Realiza múltiples regresiones sobre una muestra aleatoria de los datos
  • Promedia los valores de regresión
  • Imputa el valor faltante de la variable para ese punto de datos
Cómo tratar datos faltantes en Python

Múltiples imputaciones por ecuaciones encadenadas (MICE)

from fancyimpute import IterativeImputer

diabetes_MICE = diabetes.copy(deep=True)
MICE_imputer = IterativeImputer()
diabetes_MICE.iloc[:, :] = MICE_imputer.fit_transform(diabetes_MICE)
Cómo tratar datos faltantes en Python

Resumen

  • Uso de técnicas de Machine Learning para imputar valores faltantes
  • KNN busca los puntos más similares para imputar
  • MICE realiza múltiples regresiones para imputar
  • MICE es un modelo muy robusto para imputación
Cómo tratar datos faltantes en Python

¡Vamos a practicar!

Cómo tratar datos faltantes en Python

Preparing Video For Download...