Dimensionsreduktionens betydelse för data och modellbyggnad

Dimensionsreduktion i R

Matt Pickard

Owner, Pickard Predictives, LLC

Dimensionalitetens förbannelse

en marginell ökning av dimensionaliteten kräver en exponentiell ökning av datavolymen
- gles data → bias och överanpassning

tabell med värden för kön och veteranstatus

Dimensionalitetens förbannelse

problem med högdimensionell data
en marginell ökning av dimensionaliteten kräver en exponentiell ökning av datavolymen
- gles data → bias och överanpassning

tabell med värden för kön och veteranstatus

Dimensionalitetens förbannelse

en tabell med en tillagd variabel för blodgrupp

Dimensionalitetens förbannelse

en tabell med en tillagd variabel för blodgrupp

Gleshet

alla kombinationer av variabelvärden

Gleshet

alla kombinationer av variabelvärden jämfört med ett verkligt datainsamlingsurval

Gleshet

inte alla kombinationer samlades in i det verkliga urvalet

Gleshet: tränings- och testmängder

tränings- och testmängder måste båda representera minst sexton observationer

Gleshet: tränings- och testmängder

tränings- och testmängder måste båda representera minst sexton observationer

Gleshet: tränings- och testmängder

tränings- och testmängder måste båda representera alla sexton observationer fyra gånger

Gleshet: tränings- och testmängder

tränings- och testmängder måste båda representera alla sexton observationer fyra gånger

Beräkna minsta antal observationer

blood_type_df <- 
  expand_grid(
    gender = c("Female", "Male"),
    veteran = c("Yes", "No"),
    bloodtype = c("A", "B", "AB", "O")
)

# A tibble: 16 × 3
   gender veteran bloodtype
   <chr>  <chr>   <chr>    
 1 Female Yes     A        
 2 Female Yes     B        
 3 Female Yes     AB       
 4 Female Yes     O        
 5 Female No      A        
 6 Female No      B        
 7 Female No      AB       
 8 Female No      O        
 9 Male   Yes     A              
   ...    ...     ...

Beräkna minsta antal observationer

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.)))) %>%

  prod()

OBS: Det är antalet som behövs för att representera varje kombination exakt en gång!

Flera representationer av varje kombination

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.))) %>% 
  prod() * 4

Nu kör vi en övning!

Dimensionsreduktion i R