Introduzione alla riduzione della dimensionalità

Riduzione della dimensionalità in R

Matt Pickard

Owner, Pickard Predictives, LLC

Dimensioni

Le dimensioni sono i componenti verticali di una tabella ordinata
Dimensioni = Colonne = Feature
N. dimensioni = N. colonne

df %>% ncol()

Una tabella ordinata che evidenzia le dimensioni verticali

Cos’è la riduzione della dimensionalità?

Eliminare o combinare feature con poche o nessuna nuova informazione

Esempio

Tabella ordinata con più colonne

Cos’è la riduzione della dimensionalità?

Eliminare o combinare feature con poche o nessuna nuova informazione

Esempio

Tabella ordinata con più colonne che evidenzia feature con informazioni ridondanti

Cos’è la riduzione della dimensionalità?

Eliminare o combinare feature con poche o nessuna nuova informazione

Esempio

Tabella ordinata con più colonne che evidenzia la feature con tutti gli stessi valori

Riduzione della dimensionalità, visivamente

Proiezione 3D su superfici 2D

Trovare colonne numeriche senza varianza

df %>% 
  summarize(
    across(
      everything(), 
      ~ var(., na.rm = TRUE))) %>%

  pivot_longer(
    everything(), 
    "feature", 
    "variance")

# A tibble: 7 × 2
  feature              variance
  <chr>                   <dbl>
1 sqft_living           843534.
2 sqft_above            685735.
3 sqft_basement         195873.
4 sqft_living_near15    475480.
5 sqft_lot_near15    863386815.
6 num_garages                0 
7 num_hvac_units             0

Informazione mutua

Un diagramma di Venn con un’intersezione

Informazione mutua

Un diagramma di Venn con un’intersezione

Informazione mutua

Un diagramma di Venn con un’intersezione

Informazione mutua

Un diagramma di Venn con un’intersezione

Crea un grafico di correlazione

library(corrr)

house_sales_df %>% select(where(is.numeric)) %>%

  correlate() %>%

  shave() %>%

  rplot(print_cor = TRUE) +

  theme(axis.text.x = element_text(angle = 90, hjust = 1))

Grafico di correlazione

Esercizio!

Riduzione della dimensionalità in R