Introduction à la réduction de la dimensionnalité

Réduction de dimension en R

Matt Pickard

Owner, Pickard Predictives, LLC

Dimensions

Les dimensions sont les composantes verticales d'un tableau bien structuré
Dimensions = Colonnes = Caractéristiques
# de dimensions = # de colonnes

df %>% ncol()

Un tableau bien structuré mettant en évidence les dimensions verticales

Qu'est-ce que la réduction de la dimensionnalité ?

Supprimer ou combiner des caractéristiques qui n'apportent que peu ou pas d'information nouvelle

Exemple

Tableau bien structuré avec plus de colonnes

Qu'est-ce que la réduction de la dimensionnalité ?

Supprimer ou combiner des caractéristiques qui n'apportent que peu ou pas d'information nouvelle

Exemple

Tableau bien structuré avec plus de colonnes mettant en évidence les caractéristiques redondantes

Qu'est-ce que la réduction de la dimensionnalité ?

Supprimer ou combiner des caractéristiques qui n'apportent que peu ou pas d'information nouvelle

Exemple

Tableau bien structuré avec plus de colonnes mettant en évidence la caractéristique avec toutes les mêmes valeurs

Réduction de la dimensionnalité : visuel

Projection 3D sur des surfaces 2D

Repérer les colonnes numériques sans variance

df %>% 
  summarize(
    across(
      everything(), 
      ~ var(., na.rm = TRUE))) %>%

  pivot_longer(
    everything(), 
    "feature", 
    "variance")

# A tibble: 7 × 2
  feature              variance
  <chr>                   <dbl>
1 sqft_living           843534.
2 sqft_above            685735.
3 sqft_basement         195873.
4 sqft_living_near15    475480.
5 sqft_lot_near15    863386815.
6 num_garages                0 
7 num_hvac_units             0

Information mutuelle

Un diagramme de Venn avec une intersection

Information mutuelle

Un diagramme de Venn avec une intersection

Information mutuelle

Un diagramme de Venn avec une intersection

Information mutuelle

Un diagramme de Venn avec une intersection

Créer un graphique de corrélation

library(corrr)

house_sales_df %>% select(where(is.numeric)) %>%

  correlate() %>%

  shave() %>%

  rplot(print_cor = TRUE) +

  theme(axis.text.x = element_text(angle = 90, hjust = 1))

Graphique de corrélation

Passons à la pratique !

Réduction de dimension en R