Urval baserat på varians

Dimensionsreduktion i R

Matt Pickard

Owner, Pickard Predictives, LLC

Varians för oskalad data

ett medelvärdediagram med standardavvikelse som felstaplar för oskalad kreditdata

Varians för skalad data

ett medelvärdediagram med standardavvikelse som felstaplar för skalad kreditdata

Beräkna skalade varianser

credit_variances <- credit_df %>% 
  summarize(across(everything(), ~ var(scale(., center = FALSE)), na.rm = TRUE)) %>%

  pivot_longer(everything(), names_to = "feature", values_to = "variance") %>%

  arrange(desc(variance)) 

credit_variances

# A tibble: 17 × 2
   feature                  variance
   <chr>                       <dbl>
 1 num_of_loan               0.996  
 2 num_of_delayed_payment    0.986   
 ...

Variansgräns

utdata för varianser

Variansgräns

utdata för varianser med första troliga gräns markerad

Variansgräns

utdata för varianser med första troliga gräns markerad

Variansgräns

utdata för varianser med första troliga gräns markerad

Diagram över variansgräns

Skapa ett variansfilter

low_var_filter <- credit_variances %>% 
  filter(variance < 0.1) %>% 
  pull(feature)

low_var_filter

[1] "credit_history_months"    "age"                     
[3] "num_credit_inquiries"     "credit_utilization_ratio"
[5] "num_credit_card"

Tidymodel-metoden

Skapa receptet

low_variance_recipe <- recipe(credit_score ~ ., data = credit_df) %>%

  step_zv(all_predictors()) %>%

  step_scale(all_numeric_predictors()) %>%

  step_nzv(all_predictors()) %>%

  prep()

Tillämpa receptet

filtered_credit_df <- bake(low_variance_recipe, new_data = NULL)

Undersök effekten av ett specifikt steg

low_variance_recipe <- recipe(credit_score ~ ., data = credit_df) %>% 
  step_zv(all_predictors()) %>% 
  step_scale(all_numeric_predictors()) %>% 
  step_nzv(all_predictors()) %>% 
  prep() 


tidy(low_variance_recipe, number = 3)

  terms                id       
  <chr>                <chr>    
1 num_credit_card      nzv_ni8L7
2 num_credit_inquiries nzv_ni8L7

Nu kör vi en övning!

Dimensionsreduktion i R