Lasso regrese

Redukce dimenzionality v R

Matt Pickard

Owner, Pickard Predictives, LLC

Přehled lasso regrese

Řízený výběr příznaků
L1 regularizace
Penalizuje regresní koeficienty
Zmenšuje koeficienty
Méně důležité koeficienty se zmenší na nulu
Přirozeně provádí výběr příznaků

linear_reg(engine = "glmnet", penalty = 0.001 , mixture = 1)

Standardizace dat

Nejprve standardizujte data, aby se penalizace rovnoměrně vztahovala na všechny příznaky
Pro cílovou proměnnou použijte scale()
- vrací matici, proto převeďte na vektor pomocí as.vector()
Pro prediktory použijte step_normalize()

Příklad

# Škálování cílové proměnné
df <- df %>% mutate(target = as.vector(scale(target))) 
... 
# Škálování prediktivních proměnných
recipe() %>% step_normalize(all_numeric_predictors())

Volba hodnoty penalizace

Penalizace je hyperparametr k optimalizaci
Hledejte nejlepší hodnotu penalizace
Použijte tune() v tidymodels

linear_reg(engine = "glmnet", penalty = tune() , mixture = 1)

Příprava dat

Škálování cílové proměnné

house_sales_subset_df <- house_sales_subset_df %>% 
  mutate(price = as.vector(scale(price)))

Vytvoření trénovací a testovací sady

split <- initial_split(house_sales_subset_df, prop = 0.8)
train <- split %>% training()
test <-  split %>% testing()

Vytvoření receptury

lasso_recipe <- 
  recipe(price ~ ., data = train) %>% 
  step_normalize(all_numeric_predictors())

Vytvoření workflow

Vytvoření specifikace modelu

lasso_model <- linear_reg(penalty = 0.01, mixture = 1, engine = "glmnet")

Vytvoření workflow

lasso_workflow <- workflow(preprocessor = lasso_recipe, spec =  lasso_model)

Trénování workflow

tidy(lasso_workflow %>% fit(train)) %>% filter(estimate > 0)

# A tibble: 9 × 3
  term          estimate penalty
  <chr>            <dbl>   <dbl>
1 bathrooms      0.0477     0.01
2 sqft_living    0.434      0.01
3 floors         0.0262     0.01
4 waterfront     0.133      0.01
5 view           0.0510     0.01
6 condition      0.0319     0.01
...              ...        ...

Vytvoření laditelného workflow modelu

Vytvoření laditelné specifikace modelu

lasso_model <- linear_reg(penalty = tune(), mixture = 1, engine = "glmnet")
lasso_workflow <- workflow(preprocessor = lasso_recipe, spec =  lasso_model)

Vytvoření vzorku pro křížovou validaci

train_cv <- vfold_cv(train, v = 5)

Vytvoření mřížky hodnot penalizace

penalty_grid <- grid_regular(penalty(range = c(-3, -1)), levels = 20)

Rozsah penalizace 0,001 až 0,1 je zadán jako range = c(-3, -1)

Trénování mřížky modelů

Vytvoření mřížky natrénovaných modelů

lasso_grid <- tune_grid(
  lasso_workflow,
  resamples = train_cv,
  grid = penalty_grid)

Vizualizace výkonnosti modelů

autoplot(lasso_grid, metric = "rmse")

Graf výkonnosti penalizace

Finalizace modelu

Načtení hodnoty penalizace nejlepšího modelu

best_rmse <- lasso_grid %>% select_best("rmse")

Opětovné trénování nejlepšího modelu

final_lasso <- 
  finalize_workflow(lasso_workflow, best_rmse) %>% 
  fit(train)

Zobrazení koeficientů nejlepšího modelu

tidy(final_lasso) %>% filter(estimate > 0)

Pojďme si procvičit!

Redukce dimenzionality v R