A importância da redução de dimensionalidade em dados e construção de modelos

Redução de Dimensionalidade em R

Matt Pickard

Owner, Pickard Predictives, LLC

A maldição da dimensionalidade

  • um aumento marginal na dimensionalidade exige um aumento exponencial no volume de dados
    • esparsidade de dados → viés e overfitting

tabela com valores de gênero e veterano

Redução de Dimensionalidade em R

A maldição da dimensionalidade

  • problemas ao lidar com dados de alta dimensionalidade
  • um aumento marginal na dimensionalidade exige um aumento exponencial no volume de dados
    • esparsidade de dados → viés e overfitting

tabela com valores de gênero e veterano

Redução de Dimensionalidade em R

A maldição da dimensionalidade

uma tabela com variável adicional de tipo sanguíneo

Redução de Dimensionalidade em R

A maldição da dimensionalidade

uma tabela com variável adicional de tipo sanguíneo

Redução de Dimensionalidade em R

Esparsidade

todas as combinações de valores das variáveis

Redução de Dimensionalidade em R

Esparsidade

todas as combinações de valores de variáveis comparadas a uma coleta real

Redução de Dimensionalidade em R

Esparsidade

nem todas as combinações foram coletadas na amostra real

Redução de Dimensionalidade em R

Esparsidade: treino e teste

conjuntos de treino e teste precisam representar ao menos dezesseis observações

Redução de Dimensionalidade em R

Esparsidade: treino e teste

conjuntos de treino e teste precisam representar ao menos dezesseis observações

Redução de Dimensionalidade em R

Esparsidade: treino e teste

conjuntos de treino e teste precisam representar todas as dezesseis observações quatro vezes

Redução de Dimensionalidade em R

Esparsidade: treino e teste

conjuntos de treino e teste precisam representar todas as dezesseis observações quatro vezes

Redução de Dimensionalidade em R

Calcular o número mínimo de observações

blood_type_df <- 
  expand_grid(
    gender = c("Female", "Male"),
    veteran = c("Yes", "No"),
    bloodtype = c("A", "B", "AB", "O")
)

# A tibble: 16 × 3
   gender veteran bloodtype
   <chr>  <chr>   <chr>    
 1 Female Yes     A        
 2 Female Yes     B        
 3 Female Yes     AB       
 4 Female Yes     O        
 5 Female No      A        
 6 Female No      B        
 7 Female No      AB       
 8 Female No      O        
 9 Male   Yes     A              
   ...    ...     ...
Redução de Dimensionalidade em R

Calcular o número mínimo de observações

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.)))) %>%

  prod()

16

NOTE: Esse é o número para representar cada combinação apenas uma vez!

Redução de Dimensionalidade em R

Múltiplas representações de cada combinação

blood_type_df %>% 
  summarize(across(everything(), ~ length(unique(.))) %>% 
  prod() * 4  

128
Redução de Dimensionalidade em R

Vamos praticar!

Redução de Dimensionalidade em R

Preparing Video For Download...