Importanța reducerii dimensionalității în construirea datelor și modelelor

Reducerea dimensionalității în R

Matt Pickard

Owner, Pickard Predictives, LLC

Blestemul dimensionalității

  • o creștere marginală a dimensionalității necesită o creștere exponențială a volumului de date
    • sparsitatea datelor → bias și supraajustare

tabel cu valorile pentru gen și statut de veteran

Reducerea dimensionalității în R

Blestemul dimensionalității

  • probleme legate de datele de înaltă dimensionalitate
  • o creștere marginală a dimensionalității necesită o creștere exponențială a volumului de date
    • sparsitatea datelor → bias și supraajustare

tabel cu valorile pentru gen și statut de veteran

Reducerea dimensionalității în R

Blestemul dimensionalității

un tabel cu o variabilă adăugată pentru grupa de sânge

Reducerea dimensionalității în R

Blestemul dimensionalității

un tabel cu o variabilă adăugată pentru grupa de sânge

Reducerea dimensionalității în R

Sparsitate

toate combinațiile valorilor variabilelor

Reducerea dimensionalității în R

Sparsitate

toate combinațiile valorilor variabilelor comparativ cu o colecție reală de date

Reducerea dimensionalității în R

Sparsitate

nu toate combinațiile au fost colectate în eșantionul real

Reducerea dimensionalității în R

Sparsitate: seturi de antrenament și test

seturile de antrenament și test trebuie să reprezinte cel puțin șaisprezece observații

Reducerea dimensionalității în R

Sparsitate: seturi de antrenament și test

seturile de antrenament și test trebuie să reprezinte cel puțin șaisprezece observații

Reducerea dimensionalității în R

Sparsitate: seturi de antrenament și test

seturile de antrenament și test trebuie să reprezinte toate șaisprezece observații de patru ori

Reducerea dimensionalității în R

Sparsitate: seturi de antrenament și test

seturile de antrenament și test trebuie să reprezinte toate șaisprezece observații de patru ori

Reducerea dimensionalității în R

Calcularea numărului minim de observații

blood_type_df <- 
  expand_grid(
    gender = c("Female", "Male"),
    veteran = c("Yes", "No"),
    bloodtype = c("A", "B", "AB", "O")
)

# A tibble: 16 × 3
   gender veteran bloodtype
   <chr>  <chr>   <chr>    
 1 Female Yes     A        
 2 Female Yes     B        
 3 Female Yes     AB       
 4 Female Yes     O        
 5 Female No      A        
 6 Female No      B        
 7 Female No      AB       
 8 Female No      O        
 9 Male   Yes     A              
   ...    ...     ...
Reducerea dimensionalității în R

Calcularea numărului minim de observații

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.)))) %>%

  prod()

16

NOTĂ: Acesta este numărul pentru a reprezenta fiecare combinație o singură dată!

Reducerea dimensionalității în R

Reprezentări multiple ale fiecărei combinații

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.))) %>% 
  prod() * 4  

128
Reducerea dimensionalității în R

Să exersăm!

Reducerea dimensionalității în R

Preparing Video For Download...