Selecție bazată pe varianță

Reducerea dimensionalității în R

Matt Pickard

Owner, Pickard Predictives, LLC

Varianța datelor nescalate

grafic de medii cu bare de eroare pentru datele de credit nescalate

Reducerea dimensionalității în R

Varianța datelor scalate

grafic de medii cu bare de eroare pentru datele de credit scalate

Reducerea dimensionalității în R

Calcularea varianțelor scalate

credit_variances <- credit_df %>% 
  summarize(across(everything(), ~ var(scale(., center = FALSE)), na.rm = TRUE)) %>%

  pivot_longer(everything(), names_to = "feature", values_to = "variance") %>%

  arrange(desc(variance)) 

credit_variances

# A tibble: 17 × 2
   feature                  variance
   <chr>                       <dbl>
 1 num_of_loan               0.996  
 2 num_of_delayed_payment    0.986   
 ...
Reducerea dimensionalității în R

Prag de varianță

rezultatul varianțelor

Reducerea dimensionalității în R

Prag de varianță

rezultatul varianțelor cu primul prag posibil

Reducerea dimensionalității în R

Prag de varianță

rezultatul varianțelor cu primul prag posibil

Reducerea dimensionalității în R

Prag de varianță

rezultatul varianțelor cu primul prag posibil

Reducerea dimensionalității în R

Grafic prag de varianță

Grafic prag de varianță

Reducerea dimensionalității în R

Crearea filtrului de varianță

low_var_filter <- credit_variances %>% 
  filter(variance < 0.1) %>% 
  pull(feature)

low_var_filter

[1] "credit_history_months"    "age"                     
[3] "num_credit_inquiries"     "credit_utilization_ratio"
[5] "num_credit_card"
Reducerea dimensionalității în R

Abordarea tidymodels

Crearea rețetei

low_variance_recipe <- recipe(credit_score ~ ., data = credit_df) %>%

  step_zv(all_predictors()) %>%

  step_scale(all_numeric_predictors()) %>%

  step_nzv(all_predictors()) %>%

  prep()

Aplicarea rețetei

filtered_credit_df <- bake(low_variance_recipe, new_data = NULL)
Reducerea dimensionalității în R

Investigarea efectului unui pas specific

low_variance_recipe <- recipe(credit_score ~ ., data = credit_df) %>% 
  step_zv(all_predictors()) %>% 
  step_scale(all_numeric_predictors()) %>% 
  step_nzv(all_predictors()) %>% 
  prep() 


tidy(low_variance_recipe, number = 3)

  terms                id       
  <chr>                <chr>    
1 num_credit_card      nzv_ni8L7
2 num_credit_inquiries nzv_ni8L7
Reducerea dimensionalității în R

Să exersăm!

Reducerea dimensionalității în R

Preparing Video For Download...