Imputação usando fancyimpute

Lidando com Dados Ausentes em Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Pacote fancyimpute

  • Pacote com técnicas avançadas
  • Usa algoritmos de machine learning para imputar valores ausentes
  • Usa outras colunas para prever e imputar os valores faltantes
Lidando com Dados Ausentes em Python

Técnicas de imputação do fancyimpute

  • KNN ou K-Nearest Neighbor
  • MICE ou Multiple Imputation by Chained Equations
Lidando com Dados Ausentes em Python

Imputação por K-Nearest Neighbor

  • Seleciona K pontos mais próximos/similares usando todas as variáveis não nulas
  • Faz a média dos pontos selecionados para preencher a variável faltante

GIF de K Nearest Neighbors

Lidando com Dados Ausentes em Python

Imputação por K-Nearest Neighbor

from fancyimpute import KNN
diabetes_knn = diabetes.copy(deep=True)
knn_imputer = KNN()
diabetes_knn.iloc[:, :] = knn_imputer.fit_transform(diabetes_knn)
Lidando com Dados Ausentes em Python

Multiple Imputations by Chained Equations (MICE)

  • Executa múltiplas regressões em uma amostra aleatória dos dados
  • Tira a média dos valores das regressões
  • Imputa o valor faltante da variável para o ponto de dados
Lidando com Dados Ausentes em Python

Multiple Imputations by Chained Equations (MICE)

from fancyimpute import IterativeImputer

diabetes_MICE = diabetes.copy(deep=True)
MICE_imputer = IterativeImputer()
diabetes_MICE.iloc[:, :] = MICE_imputer.fit_transform(diabetes_MICE)
Lidando com Dados Ausentes em Python

Resumo

  • Uso de técnicas de Machine Learning para imputar valores ausentes
  • KNN encontra pontos mais similares para imputar
  • MICE faz múltiplas regressões para imputar
  • MICE é um modelo bem robusto para imputação
Lidando com Dados Ausentes em Python

Vamos praticar!

Lidando com Dados Ausentes em Python

Preparing Video For Download...