Dữ liệu bị thiếu có ngẫu nhiên không?

Xử lý dữ liệu có khả năng mở rộng trong R

Michael Kane

Assistant Professor, Yale University

Các loại dữ liệu bị thiếu

Thiếu hoàn toàn ngẫu nhiên (MCAR)
Thiếu ngẫu nhiên (MAR)
Thiếu không ngẫu nhiên (MNAR)

MCAR

Thiếu hoàn toàn ngẫu nhiên

Không thể dự đoán giá trị nào bị thiếu
Có thể loại bỏ dữ liệu thiếu

MAR

Thiếu ngẫu nhiên

Việc thiếu phụ thuộc vào các biến trong tập dữ liệu
Dùng bù khuyết đa lần để dự đoán giá trị bị thiếu

MNAR

Thiếu không ngẫu nhiên

Không phải MCAR hay MAR
Quan hệ xác định giữa các biến

Xử lý dữ liệu thiếu trong khóa học này

Xử lý đầy đủ vấn đề thiếu dữ liệu vượt ngoài phạm vi khóa học này
Ta sẽ kiểm tra tính hợp lý của giả định MCAR và loại bỏ giá trị thiếu

Kiểm tra nhanh MAR

Mã hóa lại một cột: một nếu dữ liệu thiếu, không thì bằng không
Hồi quy các biến khác lên cột đó bằng hồi quy logistic
p-value có ý nghĩa gợi ý MAR
Lặp lại cho các cột khác có thiếu dữ liệu
Một số p-value có thể có ý nghĩa do ngẫu nhiên, nên điều chỉnh ngưỡng ý nghĩa theo số lượng hồi quy

Ví dụ kiểm tra nhanh MAR

# Our dependent variable
is_missing <- rbinom(1000, 1, 0.5)

# Our independent variables
data_matrix <- matrix(rnorm(1000*10), nrow = 1000, 
                      ncol = 10)

# A vector of p-values we'll fill in
p_vals <- rep(NA, ncol(data_matrix))

Ví dụ kiểm tra nhanh MAR

# Perform logistic regression
for (j in 1:ncol(data_matrix)) {
 s <- summary(glm(is_missing ~ data_matrix[, j]), 
              family = binomial)
              p_vals[j] <- s$coefficients[2, 4]
 }

# Show the p-values
p_vals

0.5930082 0.7822695 0.7560343 0.3689330 0.8757048 
0.8812320 0.8281008 0.4888898 0.4781299 0.5655739

Cùng luyện tập nào!

Xử lý dữ liệu có khả năng mở rộng trong R

Preparing Video For Download...