Důležitost redukce dimenzionality při práci s daty a modely

Redukce dimenzionality v R

Matt Pickard

Owner, Pickard Predictives, LLC

Prokletí dimenzionality

  • mírné zvýšení dimenzionality vyžaduje exponenciální nárůst objemu dat
    • řídkost dat → vychýlení a přetrénování

tabulka s hodnotami pohlaví a veterána

Redukce dimenzionality v R

Prokletí dimenzionality

  • problémy při práci s vícerozměrnými daty
  • mírné zvýšení dimenzionality vyžaduje exponenciální nárůst objemu dat
    • řídkost dat → vychýlení a přetrénování

tabulka s hodnotami pohlaví a veterána

Redukce dimenzionality v R

Prokletí dimenzionality

tabulka s přidanou proměnnou pro krevní skupinu

Redukce dimenzionality v R

Prokletí dimenzionality

tabulka s přidanou proměnnou pro krevní skupinu

Redukce dimenzionality v R

Řídkost dat

všechny kombinace hodnot proměnných

Redukce dimenzionality v R

Řídkost dat

všechny kombinace hodnot proměnných v porovnání se skutečně nasbíranými daty

Redukce dimenzionality v R

Řídkost dat

ne všechny kombinace byly v reálném vzorku zaznamenány

Redukce dimenzionality v R

Řídkost dat: trénovací a testovací sada

trénovací i testovací sada musí obsahovat alespoň šestnáct pozorování

Redukce dimenzionality v R

Řídkost dat: trénovací a testovací sada

trénovací i testovací sada musí obsahovat alespoň šestnáct pozorování

Redukce dimenzionality v R

Řídkost dat: trénovací a testovací sada

trénovací i testovací sada musí obsahovat všech šestnáct pozorování čtyřikrát

Redukce dimenzionality v R

Řídkost dat: trénovací a testovací sada

trénovací i testovací sada musí obsahovat všech šestnáct pozorování čtyřikrát

Redukce dimenzionality v R

Výpočet minimálního počtu pozorování

blood_type_df <- 
  expand_grid(
    gender = c("Female", "Male"),
    veteran = c("Yes", "No"),
    bloodtype = c("A", "B", "AB", "O")
)

# A tibble: 16 × 3
   gender veteran bloodtype
   <chr>  <chr>   <chr>    
 1 Female Yes     A        
 2 Female Yes     B        
 3 Female Yes     AB       
 4 Female Yes     O        
 5 Female No      A        
 6 Female No      B        
 7 Female No      AB       
 8 Female No      O        
 9 Male   Yes     A              
   ...    ...     ...
Redukce dimenzionality v R

Výpočet minimálního počtu pozorování

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.)))) %>%

  prod()

16

POZNÁMKA: To je počet potřebný k zastoupení každé kombinace právě jednou!

Redukce dimenzionality v R

Vícenásobné zastoupení každé kombinace

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.))) %>% 
  prod() * 4  

128
Redukce dimenzionality v R

Lass uns üben!

Redukce dimenzionality v R

Preparing Video For Download...