Znaczenie redukcji wymiarowości w budowaniu danych i modeli

Redukcja wymiarowości w R

Matt Pickard

Owner, Pickard Predictives, LLC

Przekleństwo wymiarowości

  • niewielki wzrost wymiarowości wymaga wykładniczego wzrostu wolumenu danych
    • rzadkość danych → obciążenie i przeuczenie

tabela z wartościami płci i statusu weterana

Redukcja wymiarowości w R

Przekleństwo wymiarowości

  • problemy związane z danymi wysokowymiarowymi
  • niewielki wzrost wymiarowości wymaga wykładniczego wzrostu wolumenu danych
    • rzadkość danych → obciążenie i przeuczenie

tabela z wartościami płci i statusu weterana

Redukcja wymiarowości w R

Przekleństwo wymiarowości

tabela z dodatkową zmienną dla grupy krwi

Redukcja wymiarowości w R

Przekleństwo wymiarowości

tabela z dodatkową zmienną dla grupy krwi

Redukcja wymiarowości w R

Rzadkość danych

wszystkie kombinacje wartości zmiennych

Redukcja wymiarowości w R

Rzadkość danych

wszystkie kombinacje wartości zmiennych w porównaniu z rzeczywistą kolekcją danych

Redukcja wymiarowości w R

Rzadkość danych

nie wszystkie kombinacje zostały zebrane w rzeczywistej próbce

Redukcja wymiarowości w R

Rzadkość danych: zbiory treningowe i testowe

zbiory treningowe i testowe muszą reprezentować co najmniej szesnaście obserwacji

Redukcja wymiarowości w R

Rzadkość danych: zbiory treningowe i testowe

zbiory treningowe i testowe muszą reprezentować co najmniej szesnaście obserwacji

Redukcja wymiarowości w R

Rzadkość danych: zbiory treningowe i testowe

zbiory treningowe i testowe muszą reprezentować wszystkie szesnaście obserwacji cztery razy

Redukcja wymiarowości w R

Rzadkość danych: zbiory treningowe i testowe

zbiory treningowe i testowe muszą reprezentować wszystkie szesnaście obserwacji cztery razy

Redukcja wymiarowości w R

Obliczanie minimalnej liczby obserwacji

blood_type_df <- 
  expand_grid(
    gender = c("Female", "Male"),
    veteran = c("Yes", "No"),
    bloodtype = c("A", "B", "AB", "O")
)

# A tibble: 16 × 3
   gender veteran bloodtype
   <chr>  <chr>   <chr>    
 1 Female Yes     A        
 2 Female Yes     B        
 3 Female Yes     AB       
 4 Female Yes     O        
 5 Female No      A        
 6 Female No      B        
 7 Female No      AB       
 8 Female No      O        
 9 Male   Yes     A              
   ...    ...     ...
Redukcja wymiarowości w R

Obliczanie minimalnej liczby obserwacji

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.)))) %>%

  prod()

16

UWAGA: To liczba reprezentująca każdą kombinację tylko raz!

Redukcja wymiarowości w R

Wielokrotne reprezentacje każdej kombinacji

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.))) %>% 
  prod() * 4  

128
Redukcja wymiarowości w R

Czas na ćwiczenia!

Redukcja wymiarowości w R

Preparing Video For Download...