glmnet con griglia di ottimizzazione personalizzata

Machine Learning con caret in R

Zach Mayer

Data Scientist at DataRobot and co-author of caret

Tuning personalizzato dei modelli glmnet

2 iperparametri: alpha e lambda
Con alpha fisso, tutti i valori di lambda si adattano insieme
Tanti modelli al “prezzo” di uno

Esempio: tuning di glmnet

# Crea una griglia di tuning personalizzata
myGrid <- expand.grid(
  alpha = 0:1, 
  lambda = seq(0.0001, 0.1, length = 10)
)

# Allena un modello
set.seed(42)
model <- train(
  y ~ ., 
  overfit, 
  method = "glmnet", 
  tuneGrid = myGrid, 
  trControl = myControl
)

# Traccia i risultati
plot(model)

Confronta i modelli visivamente

Il grafico mostra ROC rispetto al parametro di regolarizzazione per due valori della percentuale di mixing: 0 e 1. La ROC è massima quando la percentuale di mixing è 1 e il parametro di regolarizzazione è > 0,1.

Intero percorso di regolarizzazione

plot(model$finalModel)

Il grafico mostra la curva personalizzata per modelli glmnet: molte linee di coefficienti rispetto alla norma L1. Aumentando la norma L1, l’intervallo dei coefficienti si amplia.

Mettiamoci alla prova!

Machine Learning con caret in R