Saknas data slumpmässigt?

Skalbar databehandling i R

Michael Kane

Assistant Professor, Yale University

Skalbar databehandling i R

Typer av saknade data

  • Missing Completely at Random (MCAR)
  • Missing at Random (MAR)
  • Missing Not at Random (MNAR)
Skalbar databehandling i R

MCAR

Missing Completely at Random

  • Det går inte att förutsäga vilka värden som saknas
  • Saknade data kan tas bort
Skalbar databehandling i R

MAR

Missing at Random

  • Saknandet beror på variabler i datamängden
  • Använd multipel imputation för att skatta saknade värden
Skalbar databehandling i R

MNAR

Missing Not at Random

  • Varken MCAR eller MAR
  • Deterministiskt samband mellan variabler
Skalbar databehandling i R

Hantera saknade data i den här kursen

  • En fullständig behandling av saknade data faller utanför kursens ramar

  • Vi undersöker om det är rimligt att data är MCAR och tar bort saknade värden

Skalbar databehandling i R

En snabb kontroll för MAR

  • Koda om en kolumn till ett om data saknas, annars noll
  • Regressera övriga variabler mot den med logistisk regression
  • Ett signifikant p-värde indikerar MAR
  • Upprepa för övriga kolumner med saknade värden
  • Vissa p-värden kan vara signifikanta av slumpen – justera signifikansgränsen utifrån antalet regressioner
Skalbar databehandling i R

Exempel på MAR-snabbkontroll

# Our dependent variable
is_missing <- rbinom(1000, 1, 0.5)

# Our independent variables data_matrix <- matrix(rnorm(1000*10), nrow = 1000, ncol = 10) # A vector of p-values we'll fill in p_vals <- rep(NA, ncol(data_matrix))
Skalbar databehandling i R

Exempel på MAR-snabbkontroll

# Perform logistic regression
for (j in 1:ncol(data_matrix)) {
 s <- summary(glm(is_missing ~ data_matrix[, j]), 
              family = binomial)
              p_vals[j] <- s$coefficients[2, 4]
 }

# Show the p-values p_vals
0.5930082 0.7822695 0.7560343 0.3689330 0.8757048 
0.8812320 0.8281008 0.4888898 0.4781299 0.5655739
Skalbar databehandling i R

Nu kör vi en övning!

Skalbar databehandling i R

Preparing Video For Download...