Memperkenalkan glmnet

Machine Learning dengan caret di R

Zach Mayer

Data Scientist at DataRobot and co-author of caret

Memperkenalkan glmnet

  • Perluasan model glm dengan seleksi variabel bawaan
  • Membantu mengatasi multikolinearitas dan ukuran sampel kecil
  • Dua bentuk utama
    • Regresi lasso: menghukum jumlah koefisien non-nol
    • Regresi ridge: menghukum besar absolut koefisien
  • Mencari model yang hemat (sederhana)
  • Cocok dipasangkan dengan random forest
Machine Learning dengan caret di R

Menyetel model glmnet

  • Kombinasi lasso dan ridge
  • Dapat memasangkan campuran keduanya
  • alpha [0, 1]: dari ridge murni ke lasso murni
  • lambda (0, infinity): besar penalti
Machine Learning dengan caret di R

Contoh: "jangan overfit"

# Load data
overfit <- read.csv("overfit.csv")

# Make a custom trainControl
myControl <- trainControl(
  method = "cv", 
  number = 10,
  summaryFunction = twoClassSummary,
  classProbs = TRUE, # <- Super important!
  verboseIter = TRUE
)
Machine Learning dengan caret di R

Coba setelan bawaan

# Fit a model
set.seed(42)
model <- train(
  y ~ ., 
  overfit, 
  method = "glmnet", 
  trControl = myControl
)

# Plot results
plot(model)
  • 3 nilai alpha
  • 3 nilai lambda
Machine Learning dengan caret di R

Plotkan hasil

Plot garis ROC tervalidasi-silang menurut persentase pencampuran untuk tiga parameter regularisasi. Ada puncak di 0,55 dengan nilai tengah parameter regularisasi.

Machine Learning dengan caret di R

Ayo berlatih!

Machine Learning dengan caret di R

Preparing Video For Download...