데이터는 무작위로 누락되는가?

R에서 확장 가능한 데이터 처리

Michael Kane

Assistant Professor, Yale University

R에서 확장 가능한 데이터 처리

결측 데이터 유형

  • 완전 무작위 결측 (MCAR)
  • 무작위 결측 (MAR)
  • 비무작위 결측 (MNAR)
R에서 확장 가능한 데이터 처리

MCAR

완전 무작위 결측

  • 어떤 값이 누락될지 예측할 수 없음
  • 결측 데이터 제거 가능
R에서 확장 가능한 데이터 처리

MAR

무작위 결측

  • 결측값이 데이터셋 내 변수에 의존함
  • 다중 대체를 사용하여 결측값 예측
R에서 확장 가능한 데이터 처리

MNAR

비무작위 결측

  • MCAR 또는 MAR에 해당하지 않음
  • 변수 간 결정론적 관계 존재
R에서 확장 가능한 데이터 처리

이 과정에서의 결측 데이터 처리

  • 결측값 처리의 전체 내용은 이 과정의 범위를 벗어남

  • 데이터가 MCAR인지 확인하고 결측값 제거

R에서 확장 가능한 데이터 처리

MAR 빠른 확인법

  • 데이터가 누락된 경우 1, 그렇지 않으면 0으로 열 재코딩
  • 로지스틱 회귀를 사용하여 다른 변수를 해당 열에 회귀
  • 유의한 p-값은 MAR을 나타냄
  • 결측값이 있는 다른 열에도 반복
  • 일부 p-값은 우연히 유의할 수 있으므로, 회귀 횟수에 따라 유의 기준 조정
R에서 확장 가능한 데이터 처리

MAR 빠른 확인 예시

# Our dependent variable
is_missing <- rbinom(1000, 1, 0.5)

# Our independent variables
data_matrix <- matrix(rnorm(1000*10), nrow = 1000, 
                      ncol = 10)

# A vector of p-values we'll fill in
p_vals <- rep(NA, ncol(data_matrix))
R에서 확장 가능한 데이터 처리

MAR 빠른 확인 예시

# Perform logistic regression
for (j in 1:ncol(data_matrix)) {
 s <- summary(glm(is_missing ~ data_matrix[, j]), 
              family = binomial)
              p_vals[j] <- s$coefficients[2, 4]
 }

# Show the p-values
p_vals

0.5930082 0.7822695 0.7560343 0.3689330 0.8757048 
0.8812320 0.8281008 0.4888898 0.4781299 0.5655739
R에서 확장 가능한 데이터 처리

연습해 봅시다!

R에서 확장 가능한 데이터 처리

Preparing Video For Download...