Xử lý biến ít thông tin

Machine Learning với caret trong R

Zach Mayer

Data Scientist at DataRobot and co-author of caret

Biến không (hoặc ít) phương sai

  • Một số biến chứa rất ít thông tin
    • Hằng số (không có phương sai)
    • Gần như hằng số (phương sai thấp)
  • Dễ để một fold của CV thành cột hằng số
    • Có thể gây vấn đề cho mô hình
  • Thường loại bỏ các biến có phương sai cực thấp
Machine Learning với caret trong R

Ví dụ: cột hằng số trong mtcars

# Reproduce dataset from last video
data(mtcars)
set.seed(42)
mtcars[sample(1:nrow(mtcars), 10), "hp"] <- NA
Y <- mtcars$mpg
X <- mtcars[, 2:4]

# Add constant-valued column to mtcars
X$bad <- 1
Machine Learning với caret trong R

Ví dụ: cột hằng số trong mtcars

# Try to fit a model with PCA + glm
model <- train(
  X, Y, method = "glm", 
  preProcess = c("center", "scale", "medianImpute", "pca"))

Warning in preProcess.default(thresh = 0.95, k = 5, method = c("medianImpute",  :
  These variables have zero variances: bad
Something is wrong; all the RMSE metric values are missing:
      RMSE        Rsquared  
 Min.   : NA   Min.   : NA  
 1st Qu.: NA   1st Qu.: NA  
 Median : NA   Median : NA  
 Mean   :NaN   Mean   :NaN  
 3rd Qu.: NA   3rd Qu.: NA  
 Max.   : NA   Max.   : NA  
 NA's   :1     NA's   :1
Machine Learning với caret trong R

caret lại cứu nguy

  • "zv" loại bỏ các cột hằng số
  • "nzv" loại bỏ các cột gần như hằng số
# Để caret loại bỏ các cột đó khi mô hình hóa
set.seed(42)
model <- train(
  X, Y, method = "glm", 
  preProcess = c("zv", "center", "scale", "medianImpute", "pca")
)
min(model$results$RMSE)

3.402557
Machine Learning với caret trong R

Ayo berlatih!

Machine Learning với caret trong R

Preparing Video For Download...