Imputação pela mediana

Machine Learning com caret em R

Max Kuhn

Software Engineer at RStudio and creator of caret

Como lidar com valores ausentes

A maioria dos modelos exige números e não lida com dados ausentes
Abordagem comum: remover linhas com dados ausentes
- Pode introduzir vieses nos dados
- Gera modelos excessivamente confiantes
Estratégia melhor: imputação pela mediana!
- Substitui ausentes pelas medianas
- Funciona bem se os dados faltarem ao acaso (MAR)

Exemplo: mtcars

# Generate some data with missing values
data(mtcars)
set.seed(42)
mtcars[sample(1:nrow(mtcars), 10), "hp"] <- NA

# Split target from predictors
Y <- mtcars$mpg
X <- mtcars[, 2:4]

# Try to fit a caret model
library(caret)
model <- train(X, Y)

Error in train.default(X, Y) : Stopping

Uma solução simples

# Now fit with median imputation
model <- train(X, Y, preProcess = "medianImpute")
print(model)

Random Forest 

32 samples
 3 predictor

Pre-processing: median imputation (3) 
Resampling: Bootstrapped (25 reps) 
Summary of sample sizes: 32, 32, 32, 32, 32, 32, ... 
Resampling results across tuning parameters:

  mtry  RMSE      Rsquared 
  2     2.617096  0.8234652
  3     2.670550  0.8164535

RMSE was used to select the optimal model using the smallest value.
The final value used for the model was mtry = 2.

Vamos praticar!

Machine Learning com caret em R