Chybí data náhodně?

Škálovatelné zpracování dat v R

Michael Kane

Assistant Professor, Yale University

Škálovatelné zpracování dat v R

Typy chybějících dat

  • Zcela náhodně chybějící (MCAR)
  • Náhodně chybějící (MAR)
  • Nenáhodně chybějící (MNAR)
Škálovatelné zpracování dat v R

MCAR

Zcela náhodně chybějící

  • Nelze předpovědět, které hodnoty chybí
  • Chybějící data lze odstranit
Škálovatelné zpracování dat v R

MAR

Náhodně chybějící

  • Chybějící hodnoty závisí na proměnných v datové sadě
  • Použijte vícenásobnou imputaci k odhadnutí chybějících hodnot
Škálovatelné zpracování dat v R

MNAR

Nenáhodně chybějící

  • Není MCAR ani MAR
  • Deterministický vztah mezi proměnnými
Škálovatelné zpracování dat v R

Práce s chybějícími daty v tomto kurzu

  • Úplné zpracování chybějících dat přesahuje rozsah tohoto kurzu

  • Ověříme, zda je data MCAR, a chybějící hodnoty odstraníme

Škálovatelné zpracování dat v R

Rychlá kontrola MAR

  • Překódujte sloupec: 1 = chybějící hodnota, 0 = ostatní
  • Regredujte ostatní proměnné pomocí logistické regrese
  • Významné p-hodnoty naznačují MAR
  • Opakujte pro ostatní sloupce s chybějícími hodnotami
  • Některé p-hodnoty mohou být náhodně významné – upravte hranici podle počtu regresí
Škálovatelné zpracování dat v R

Příklad rychlé kontroly MAR

# Our dependent variable
is_missing <- rbinom(1000, 1, 0.5)

# Our independent variables
data_matrix <- matrix(rnorm(1000*10), nrow = 1000, 
                      ncol = 10)

# A vector of p-values we'll fill in
p_vals <- rep(NA, ncol(data_matrix))
Škálovatelné zpracování dat v R

Příklad rychlé kontroly MAR

# Perform logistic regression
for (j in 1:ncol(data_matrix)) {
 s <- summary(glm(is_missing ~ data_matrix[, j]), 
              family = binomial)
              p_vals[j] <- s$coefficients[2, 4]
 }

# Show the p-values
p_vals

0.5930082 0.7822695 0.7560343 0.3689330 0.8757048 
0.8812320 0.8281008 0.4888898 0.4781299 0.5655739
Škálovatelné zpracování dat v R

Pojďme procvičovat!

Škálovatelné zpracování dat v R

Preparing Video For Download...