Чи дані пропущені випадково?

Масштабована обробка даних в R

Michael Kane

Assistant Professor, Yale University

Типи пропущених даних

Missing Completely at Random (MCAR)
Missing at Random (MAR)
Missing Not at Random (MNAR)

MCAR

Missing Completely at Random

Немає способу передбачити, які значення пропущені
Можна вилучати пропуски

MAR

Missing at Random

Пропуски залежать від змінних у наборі даних
Використовуйте множинну імпутацію, щоб спрогнозувати пропущені значення

MNAR

Missing Not at Random

Не MCAR і не MAR
Детермінований зв'язок між змінними

Як працюємо з пропусками в цьому курсі

Повний розгляд пропусків виходить за межі цього курсу
Ми перевіримо, чи правдоподібно, що дані є MCAR, і вилучимо пропущені значення

Швидка перевірка на MAR

Перекодуйте стовпець: один, якщо дані відсутні, і нуль інакше
Регресуйте інші змінні на нього за допомогою логістичної регресії
Значущий p-value вказує на MAR
Повторіть для інших стовпців із пропусками
Деякі p-value можуть бути значущими випадково, тож скоригуйте поріг значущості з урахуванням кількості регресій

Приклад швидкої перевірки MAR

# Our dependent variable
is_missing <- rbinom(1000, 1, 0.5)

# Our independent variables
data_matrix <- matrix(rnorm(1000*10), nrow = 1000, 
                      ncol = 10)

# A vector of p-values we'll fill in
p_vals <- rep(NA, ncol(data_matrix))

Приклад швидкої перевірки MAR

# Perform logistic regression
for (j in 1:ncol(data_matrix)) {
 s <- summary(glm(is_missing ~ data_matrix[, j]), 
              family = binomial)
              p_vals[j] <- s$coefficients[2, 4]
 }

# Show the p-values
p_vals

0.5930082 0.7822695 0.7560343 0.3689330 0.8757048 
0.8812320 0.8281008 0.4888898 0.4781299 0.5655739

Давайте потренуємось!

Масштабована обробка даних в R

Preparing Video For Download...