Chọn đặc trưng vs. trích xuất đặc trưng

Giảm Chiều Dữ Liệu với R

Matt Pickard

Owner, Pickard Predictives, LLC

Các cách giảm số chiều

Vườn rau

Chọn đặc trưng như nhổ cỏ dại
Trích xuất đặc trưng như trộn salad

¹ Nguồn ảnh: Daderot, CC0, qua Wikimedia Commons

Chọn đặc trưng

Bộ sáu đặc trưng được tô màu

Chọn đặc trưng

Bộ sáu đặc trưng với các đặc trưng ít thông tin bị lọc bỏ

Chọn đặc trưng

Bộ bốn đặc trưng đã được lọc

Ví dụ dữ liệu tín dụng

credit_df %>% head(n=5)

  annual_income num_bank_accounts num_credit_card outstanding_debt credit_history_months
          <dbl>             <dbl>           <dbl>            <dbl>                 <dbl>
1        87630.                 2               5             526.                   286
2        16574.                 2               5              NA                    122
3        24931.                 2               5              NA                    351
4       136680.                 2               5              NA                    216
5        76850.                 2               5            1112.                   272

Tạo bộ lọc phương sai bằng 0

na_filter <- credit_df %>% 
  summarize(across(everything(), ~ var(., na.rm = TRUE))) %>%

  pivot_longer(everything(), names_to = "feature", values_to = "variance") %>%

  filter(variance == 0) %>%

  pull(feature)

na_filter

"num_bank_accounts" "num_credit_card"

Tạo bộ lọc giá trị khuyết

na_filter <- credit_df %>%  
  summarize(across(everything(), ~ sum(is.na(.)))) %>%

  pivot_longer(everything(), names_to = "feature", values_to = "num_missing_values") %>%

  filter(num_missing_values > 0) %>%

  pull(feature)

na_filter

"outstanding_debt"

Áp dụng bộ lọc kết hợp

combined_filter <- 
  c(low_var_filter, na_filter)

credit_df %>% 
  select(-all_of(combined_filter)) %>% 
  head(3)

  annual_income credit_history_months
          <dbl>                 <dbl>
1        87630.                   286
2        16574.                   122
3        24931.                   351