Introduction à la réduction de dimension

Réduction de dimension en R

Matt Pickard

Owner, Pickard Predictives, LLC

Dimensions

Les dimensions sont les composantes verticales d'un tableau ordonné
Dimensions = Colonnes = Caractéristiques
# de dimensions = # de colonnes

df %>% ncol()

Un tableau ordonné mettant en évidence les dimensions verticales

Qu'est-ce que la réduction de dimension ?

Supprimer ou combiner des caractéristiques apportant peu ou pas d'information nouvelle

Exemple

Tableau ordonné avec plus de colonnes

Qu'est-ce que la réduction de dimension ?

Supprimer ou combiner des caractéristiques apportant peu ou pas d'information nouvelle

Exemple

Tableau ordonné avec plus de colonnes mettant en évidence des caractéristiques redondantes

Qu'est-ce que la réduction de dimension ?

Supprimer ou combiner des caractéristiques apportant peu ou pas d'information nouvelle

Exemple

Tableau ordonné avec plus de colonnes mettant en évidence une caractéristique avec toutes les mêmes valeurs

Réduction de dimension : vue visuelle

Projection 3D vers des surfaces 2D

Trouver les colonnes numériques sans variance

df %>% 
  summarize(
    across(
      everything(), 
      ~ var(., na.rm = TRUE))) %>%

  pivot_longer(
    everything(), 
    "feature", 
    "variance")

# A tibble: 7 × 2
  feature              variance
  <chr>                   <dbl>
1 sqft_living           843534.
2 sqft_above            685735.
3 sqft_basement         195873.
4 sqft_living_near15    475480.
5 sqft_lot_near15    863386815.
6 num_garages                0 
7 num_hvac_units             0

Information mutuelle

Un diagramme de Venn avec une intersection

Information mutuelle

Un diagramme de Venn avec une intersection

Information mutuelle

Un diagramme de Venn avec une intersection

Information mutuelle

Un diagramme de Venn avec une intersection

Créer un graphique de corrélation

library(corrr)

house_sales_df %>% select(where(is.numeric)) %>%

  correlate() %>%

  shave() %>%

  rplot(print_cor = TRUE) +

  theme(axis.text.x = element_text(angle = 90, hjust = 1))

Graphique de corrélation

Passons à la pratique !

Réduction de dimension en R