Данные пропущены случайно?

Работа с пропущенными данными в Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Возможные причины пропущенных данных

Примечание $-$ (переменная $\rightarrow$ поле данных или столбец в DataFrame)

  • Значения пропущены в случайные моменты или интервалы в переменной
  • Значения пропущены из-за другой переменной
  • Значения пропущены из-за пропусков в той же или другой переменной
Работа с пропущенными данными в Python

Типы пропущенных данных

  1. Missing Completely at Random (MCAR)
  2. Missing at Random (MAR)
  3. Missing Not at Random (MNAR)
Работа с пропущенными данными в Python

Missing Completely at Random (MCAR)

Определение:

«Пропуски никак не связаны ни с наблюдаемыми, ни с отсутствующими значениями»

Пример Missing Completely at Random

Работа с пропущенными данными в Python

MCAR — пример

msno.matrix(diabetes)

Missing Completely at Random для набора данных diabetes

Работа с пропущенными данными в Python

Missing at Random (MAR)

Определение:

«Пропуски систематически связаны с другими наблюдаемыми данными, но не с самими пропущенными значениями»

Пример Missing at Random

Работа с пропущенными данными в Python

MAR — пример

msno.matrix(diabetes)

Missing at Random для набора данных diabetes

Работа с пропущенными данными в Python

Missing Not at Random (MNAR)

Определение:

«Пропуски связаны с самими значениями — как отсутствующими, так и наблюдаемыми»

Пример Missing Not at Random

Работа с пропущенными данными в Python

MNAR — пример

  • Паттерн пропусков в diabetes, отсортированный по Serum_Insulin
sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

Missing Not at Random для набора данных diabetes

Работа с пропущенными данными в Python

Итоги

  • Возможные причины пропусков
    • Missing Completely at Random (MCAR),
    • Missing at Random (MAR) или
    • Missing Not at Random (MNAR)
  • Выявление паттерна пропусков путём сортировки переменных
  • Соответствие паттернов типам MCAR, MAR и MNAR
Работа с пропущенными данными в Python

Давайте потренируемся!

Работа с пропущенными данными в Python

Preparing Video For Download...