Зависимость пропущенных данных

Работа с пропущенными данными в R

Nicholas Tierney

Statistician

Содержание

  • MCAR — пропуск полностью случаен

  • MAR — пропуск случаен

  • MNAR — пропуск неслучаен

Работа с пропущенными данными в R

MCAR: что это?

Пропуск не связан ни с какими наблюдаемыми или ненаблюдаемыми данными.

test vacation
NA TRUE
11.533340 FALSE
10.126115 TRUE
NA FALSE
NA TRUE
8.551881 FALSE
NA FALSE
NA TRUE
10.608264 TRUE
Работа с пропущенными данными в R

MCAR: каковы последствия?

Последствия

  • Импутация рекомендуется
  • Удаление наблюдений может уменьшить выборку и ограничить выводы, но не вносит смещения
  • Следует выполнять импутацию данных
Работа с пропущенными данными в R

MAR: что это?

Пропуск зависит от наблюдаемых данных, но не от ненаблюдаемых

Последствия:

  • Выполняйте импутацию
  • Удаление наблюдений нежелательно — может привести к смещению
test vacation depression
NA TRUE 87.93109
11.533340 FALSE 40.02708
10.126115 TRUE 48.62883
NA FALSE 88.21743
NA TRUE 90.29282
8.551881 FALSE 44.77343
NA FALSE 89.48865
NA TRUE 89.99209
10.608264 TRUE 45.56832
Работа с пропущенными данными в R

MNAR: что это?

Пропуск в ответах связан с ненаблюдаемым значением, важным для исследования.

Последствия:

  • При удалении и импутации данные будут смещены
  • Выводы могут быть ограничены — действуйте осторожно.
test vacation depression
NA TRUE NA
11.533340 FALSE 11.533340
10.126115 TRUE 10.126115
NA FALSE NA
NA TRUE NA
8.551881 FALSE 8.551881
NA FALSE NA
NA TRUE NA
10.608264 TRUE 10.608264
Работа с пропущенными данными в R

Пример: MCAR

vis_miss(mt_cars, cluster = TRUE)

Работа с пропущенными данными в R

Пример: MAR

oceanbuoys %>% arrange(year) %>% vis_miss()

Работа с пропущенными данными в R

Пример: MNAR

vis_miss(ocean, cluster = TRUE)

Работа с пропущенными данными в R

Давайте потренируемся!

Работа с пропущенными данными в R

Preparing Video For Download...