Introdução à redução de dimensionalidade

Redução de Dimensionalidade em R

Matt Pickard

Owner, Pickard Predictives, LLC

Dimensões

Dimensões são os componentes verticais de uma tabela arrumada
Dimensões = Colunas = Features
# de dimensões = # de colunas

df %>% ncol()

Uma tabela arrumada destacando as dimensões verticais

O que é redução de dimensionalidade?

Eliminar ou combinar features com pouca ou nenhuma informação nova

Exemplo

Tabela arrumada com mais colunas

O que é redução de dimensionalidade?

Eliminar ou combinar features com pouca ou nenhuma informação nova

Exemplo

Tabela arrumada com mais colunas destacando features com informação redundante

O que é redução de dimensionalidade?

Eliminar ou combinar features com pouca ou nenhuma informação nova

Exemplo

Tabela arrumada com mais colunas destacando a feature com todos os mesmos valores

Redução de dimensionalidade visualmente

Projeção 3D em superfícies 2D

Encontrando colunas numéricas sem variância

df %>% 
  summarize(
    across(
      everything(), 
      ~ var(., na.rm = TRUE))) %>%

  pivot_longer(
    everything(), 
    "feature", 
    "variance")

# A tibble: 7 × 2
  feature              variance
  <chr>                   <dbl>
1 sqft_living           843534.
2 sqft_above            685735.
3 sqft_basement         195873.
4 sqft_living_near15    475480.
5 sqft_lot_near15    863386815.
6 num_garages                0 
7 num_hvac_units             0

Informação mútua

Um diagrama de Venn com interseção

Informação mútua

Um diagrama de Venn com interseção

Informação mútua

Um diagrama de Venn com interseção

Informação mútua

Um diagrama de Venn com interseção

Criar um gráfico de correlação

library(corrr)

house_sales_df %>% select(where(is.numeric)) %>%

  correlate() %>%

  shave() %>%

  rplot(print_cor = TRUE) +

  theme(axis.text.x = element_text(angle = 90, hjust = 1))

Gráfico de correlação

Vamos praticar!

Redução de Dimensionalidade em R