Os dados estão ausentes ao acaso?

Processamento de Dados em Escala no R

Michael Kane

Assistant Professor, Yale University

Processamento de Dados em Escala no R

Tipos de dados ausentes

  • Missing Completely at Random (MCAR)
  • Missing at Random (MAR)
  • Missing Not at Random (MNAR)
Processamento de Dados em Escala no R

MCAR

Missing Completely at Random

  • Não há como prever quais valores faltam
  • Pode descartar os dados ausentes
Processamento de Dados em Escala no R

MAR

Missing at Random

  • A ausência depende de variáveis do conjunto de dados
  • Use imputação múltipla para estimar os valores ausentes
Processamento de Dados em Escala no R

MNAR

Missing Not at Random

  • Não é MCAR nem MAR
  • Relação determinística entre variáveis
Processamento de Dados em Escala no R

Como lidar com dados ausentes neste curso

  • O tratamento completo de ausência está fora do escopo deste curso

  • Vamos verificar se é plausível que os dados sejam MCAR e descartar valores ausentes

Processamento de Dados em Escala no R

Verificação rápida para MAR

  • Recodifique uma coluna com 1 se o dado faltar e 0 caso contrário
  • Regrida outras variáveis sobre ela usando regressão logística
  • p-valor significativo indica MAR
  • Repita para outras colunas com ausência
  • Alguns p-valores podem ser significativos por acaso; ajuste o corte de significância pelo número de regressões
Processamento de Dados em Escala no R

Exemplo de verificação rápida de MAR

# Our dependent variable
is_missing <- rbinom(1000, 1, 0.5)

# Our independent variables
data_matrix <- matrix(rnorm(1000*10), nrow = 1000, 
                      ncol = 10)

# A vector of p-values we'll fill in
p_vals <- rep(NA, ncol(data_matrix))
Processamento de Dados em Escala no R

Exemplo de verificação rápida de MAR

# Perform logistic regression
for (j in 1:ncol(data_matrix)) {
 s <- summary(glm(is_missing ~ data_matrix[, j]), 
              family = binomial)
              p_vals[j] <- s$coefficients[2, 4]
 }

# Show the p-values
p_vals

0.5930082 0.7822695 0.7560343 0.3689330 0.8757048 
0.8812320 0.8281008 0.4888898 0.4781299 0.5655739
Processamento de Dados em Escala no R

Vamos praticar!

Processamento de Dados em Escala no R

Preparing Video For Download...