Залежність пропущених даних

Робота з пропущеними даними в R

Nicholas Tierney

Statistician

План

  • MCAR Missing Completely at Random

  • MAR Missing At Random

  • MNAR Missing Not At Random

Робота з пропущеними даними в R

MCAR: Що це?

Пропуски не пов'язані з жодними наявними чи відсутніми у вас даними.

test vacation
NA TRUE
11.533340 FALSE
10.126115 TRUE
NA FALSE
NA TRUE
8.551881 FALSE
NA FALSE
NA TRUE
10.608264 TRUE
Робота з пропущеними даними в R

MCAR: Які наслідки

Наслідки

  • Імпутація бажана
  • Видалення спостережень зменшує вибірку, обмежує висновки, але не спричиняє зміщення
  • Варто виконувати імпутацію даних
Робота з пропущеними даними в R

MAR: Що це?

Пропуски залежать від спостережуваних даних, але не від неспостережуваних.

Наслідки:

  • Імпутуйте
  • Видалення спостережень небажане, може спричинити зміщення
test vacation depression
NA TRUE 87.93109
11.533340 FALSE 40.02708
10.126115 TRUE 48.62883
NA FALSE 88.21743
NA TRUE 90.29282
8.551881 FALSE 44.77343
NA FALSE 89.48865
NA TRUE 89.99209
10.608264 TRUE 45.56832
Робота з пропущеними даними в R

MNAR: Що це?

Пропуски у відгуку пов'язані з ненаблюдуваним значенням, релевантним оцінюванню інтересу.

Наслідки:

  • Дані будуть зміщені і від видалення, і від імпутації
  • Висновки обмежені, дійте обережно.
test vacation depression
NA TRUE NA
11.533340 FALSE 11.533340
10.126115 TRUE 10.126115
NA FALSE NA
NA TRUE NA
8.551881 FALSE 8.551881
NA FALSE NA
NA TRUE NA
10.608264 TRUE 10.608264
Робота з пропущеними даними в R

Приклад: MCAR

vis_miss(mt_cars, cluster = TRUE)

Робота з пропущеними даними в R

Приклад: MAR

oceanbuoys %>% arrange(year) %>% vis_miss()

Робота з пропущеними даними в R

Приклад: MNAR

vis_miss(ocean, cluster = TRUE)

Робота з пропущеними даними в R

Давайте потренуємось!

Робота з пропущеними даними в R

Preparing Video For Download...