Чи є пропуски випадковими?

Робота з пропущеними даними в Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Можливі причини пропусків у даних

Примітка $-$ (variable $\rightarrow$ поле даних або стовпчик у DataFrame)

  • Значення випадково відсутні у вибірних місцях чи інтервалах змінної
  • Значення відсутні через іншу змінну
  • Значення відсутні через пропуски в цій або іншій змінній
Робота з пропущеними даними в Python

Типи пропусків

  1. Missing Completely at Random (MCAR)
  2. Missing at Random (MAR)
  3. Missing Not at Random (MNAR)
Робота з пропущеними даними в Python

Missing Completely at Random (MCAR)

Визначення:

«Пропуски не пов'язані з жодними значеннями — ні наявними, ні відсутніми»

Приклад Missing Completely at Random

Робота з пропущеними даними в Python

MCAR — приклад

msno.matrix(diabetes)

Missing Completely at Random для набору даних diabetes

Робота з пропущеними даними в Python

Missing at Random (MAR)

Визначення:

«Є системний зв'язок між пропусками та іншими спостережуваними даними, але не з відсутніми даними»

Приклад Missing at Random

Робота з пропущеними даними в Python

MAR — приклад

msno.matrix(diabetes)

Missing at Random для набору даних diabetes

Робота з пропущеними даними в Python

Missing Not at Random (MNAR)

Визначення:

«Є зв'язок між пропусками та їхніми значеннями — як відсутніми, так і наявними»

Приклад Missing Not at Random

Робота з пропущеними даними в Python

MNAR — приклад

  • Візерунок пропусків у diabetes, відсортованому за Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Missing Not at Random для набору даних diabetes

Робота з пропущеними даними в Python

Підсумок

  • Можливі причини пропусків
    • Missing Completely at Random (MCAR),
    • Missing at Random (MAR) або
    • Missing Not at Random (MNAR)
  • Виявлення візерунку пропусків через сортування змінних
  • Віднесення пропусків до MCAR, MAR і MNAR
Робота з пропущеними даними в Python

Давайте потренуємось!

Робота з пропущеними даними в Python

Preparing Video For Download...