Introduktion till dimensionsreduktion

Dimensionsreduktion i R

Matt Pickard

Owner, Pickard Predictives, LLC

Dimensioner

Dimensioner är de vertikala komponenterna i en strukturerad tabell
Dimensioner = Kolumner = Särdrag
# dimensioner = # kolumner

df %>% ncol()

En strukturerad tabell med markerade vertikala dimensioner

Vad är dimensionsreduktion?

Att ta bort eller kombinera särdrag med liten eller ingen ny information

Exempel

Strukturerad tabell med fler kolumner

Vad är dimensionsreduktion?

Att ta bort eller kombinera särdrag med liten eller ingen ny information

Exempel

Strukturerad tabell med fler kolumner där särdrag med redundant information är markerade

Vad är dimensionsreduktion?

Att ta bort eller kombinera särdrag med liten eller ingen ny information

Exempel

Strukturerad tabell med fler kolumner där särdrag med identiska värden är markerade

Dimensionsreduktion visuellt

3D-projektion till 2D-ytor

Hitta numeriska kolumner utan varians

df %>% 
  summarize(
    across(
      everything(), 
      ~ var(., na.rm = TRUE))) %>%

  pivot_longer(
    everything(), 
    "feature", 
    "variance")

# A tibble: 7 × 2
  feature              variance
  <chr>                   <dbl>
1 sqft_living           843534.
2 sqft_above            685735.
3 sqft_basement         195873.
4 sqft_living_near15    475480.
5 sqft_lot_near15    863386815.
6 num_garages                0 
7 num_hvac_units             0

Ömsesidig information

Ett Venn-diagram med en överlappning

Ömsesidig information

Ett Venn-diagram med en överlappning

Ömsesidig information

Ett Venn-diagram med en överlappning

Ömsesidig information

Ett Venn-diagram med en överlappning

Skapa ett korrelationsdiagram

library(corrr)

house_sales_df %>% select(where(is.numeric)) %>%

  correlate() %>%

  shave() %>%

  rplot(print_cor = TRUE) +

  theme(axis.text.x = element_text(angle = 90, hjust = 1))

Korrelationsdiagram

Nu kör vi en övning!

Dimensionsreduktion i R