L'importance de la réduction de dimension pour les données et la modélisation

Réduction de dimension en R

Matt Pickard

Owner, Pickard Predictives, LLC

La malédiction de la dimensionnalité

une hausse marginale de la dimension exige une hausse exponentielle du volume de données
- rareté des données → biais et surapprentissage

tableau avec les valeurs de genre et de statut d'ancien combattant

La malédiction de la dimensionnalité

problèmes liés aux données à haute dimension
une hausse marginale de la dimension exige une hausse exponentielle du volume de données
- rareté des données → biais et surapprentissage

tableau avec les valeurs de genre et de statut d'ancien combattant

La malédiction de la dimensionnalité

un tableau avec une variable de plus : groupe sanguin

La malédiction de la dimensionnalité

un tableau avec une variable de plus : groupe sanguin

Rareté

toutes les combinaisons de valeurs de variables

Rareté

toutes les combinaisons de valeurs comparées à une collecte réelle

Rareté

toutes les combinaisons ne figurent pas dans l'échantillon réel

Rareté : ensembles d'entraînement et de test

les ensembles d'entraînement et de test doivent tous deux représenter au moins seize observations

Rareté : ensembles d'entraînement et de test

les ensembles d'entraînement et de test doivent tous deux représenter au moins seize observations

Rareté : ensembles d'entraînement et de test

les ensembles d'entraînement et de test doivent tous deux représenter seize observations, quatre fois chacun

Rareté : ensembles d'entraînement et de test

les ensembles d'entraînement et de test doivent tous deux représenter seize observations, quatre fois chacun

Calculer le nombre minimal d'observations

blood_type_df <- 
  expand_grid(
    gender = c("Female", "Male"),
    veteran = c("Yes", "No"),
    bloodtype = c("A", "B", "AB", "O")
)

# A tibble: 16 × 3
   gender veteran bloodtype
   <chr>  <chr>   <chr>    
 1 Female Yes     A        
 2 Female Yes     B        
 3 Female Yes     AB       
 4 Female Yes     O        
 5 Female No      A        
 6 Female No      B        
 7 Female No      AB       
 8 Female No      O        
 9 Male   Yes     A              
   ...    ...     ...

Calculer le nombre minimal d'observations

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.)))) %>%

  prod()

REMARQUE : C'est le nombre pour représenter chaque combinaison une seule fois !

Représenter plusieurs fois chaque combinaison

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.))) %>% 
  prod() * 4

Passons à la pratique !

Réduction de dimension en R