Datele lipsesc aleatoriu?

Procesarea scalabilă a datelor în R

Michael Kane

Assistant Professor, Yale University

Procesarea scalabilă a datelor în R

Tipuri de date lipsă

  • Lipsă complet aleatoriu (MCAR)
  • Lipsă aleatoriu (MAR)
  • Lipsă non-aleatoriu (MNAR)
Procesarea scalabilă a datelor în R

MCAR

Lipsă complet aleatoriu

  • Nu se poate prezice care valori lipsesc
  • Se pot elimina valorile lipsă
Procesarea scalabilă a datelor în R

MAR

Lipsă aleatoriu

  • Prezența valorilor lipsă depinde de variabilele din set
  • Utilizați imputarea multiplă pentru a estima valorile lipsă
Procesarea scalabilă a datelor în R

MNAR

Lipsă non-aleatoriu

  • Nu este MCAR sau MAR
  • Relație deterministă între variabile
Procesarea scalabilă a datelor în R

Gestionarea datelor lipsă în acest curs

  • Tratarea completă a valorilor lipsă depășește scopul acestui curs

  • Vom verifica dacă datele pot fi MCAR și vom elimina valorile lipsă

Procesarea scalabilă a datelor în R

Verificare rapidă pentru MAR

  • Recodificați o coloană cu 1 dacă datele lipsesc și 0 în caz contrar
  • Regresați alte variabile pe aceasta folosind regresie logistică
  • O valoare p semnificativă indică MAR
  • Repetați pentru celelalte coloane cu valori lipsă
  • Unele valori p pot fi semnificative din întâmplare; ajustați pragul de semnificație în funcție de numărul de regresii
Procesarea scalabilă a datelor în R

Exemplu de verificare rapidă MAR

# Our dependent variable
is_missing <- rbinom(1000, 1, 0.5)

# Our independent variables
data_matrix <- matrix(rnorm(1000*10), nrow = 1000, 
                      ncol = 10)

# A vector of p-values we'll fill in
p_vals <- rep(NA, ncol(data_matrix))
Procesarea scalabilă a datelor în R

Exemplu de verificare rapidă MAR

# Perform logistic regression
for (j in 1:ncol(data_matrix)) {
 s <- summary(glm(is_missing ~ data_matrix[, j]), 
              family = binomial)
              p_vals[j] <- s$coefficients[2, 4]
 }

# Show the p-values
p_vals

0.5930082 0.7822695 0.7560343 0.3689330 0.8757048 
0.8812320 0.8281008 0.4888898 0.4781299 0.5655739
Procesarea scalabilă a datelor în R

Să exersăm!

Procesarea scalabilă a datelor în R

Preparing Video For Download...