Пропущенные данные и импутация

Введение в Python в Power BI

Jacob H. Marquez

Data Scientist

Что такое пропущенные данные?

Распространённые значения для «пропущенного»:

  • null
  • NA
  • 99
  • ""
Введение в Python в Power BI

Что такое пропущенные данные?

Распространённые значения для «пропущенного»:

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Введение в Python в Power BI

Почему данные пропущены?

  • Участник забыл или отказался ответить на вопрос анкеты
  • Участник выбыл из второй части исследования
  • Произошёл сбой в измерительном приборе
  • Использование данных ограничено законодательством о конфиденциальности
Введение в Python в Power BI

Случаен ли пропуск?

Пропуск случаен

Таблица с данными об осадках (в дюймах) по трём городам: Сиэтл, Нью-Йорк и Париж.

Введение в Python в Power BI

Случаен ли пропуск?

Пропуск не случаен

Таблица с данными об осадках (в дюймах) по трём городам: Сиэтл, Нью-Йорк и Париж. Одна строка по Сиэтлу отсутствует.

Введение в Python в Power BI

Случаен ли пропуск?

Пропуск не случаен

Таблица с данными об осадках (в дюймах) по трём городам: Сиэтл, Нью-Йорк и Париж. Одна строка по Сиэтлу отсутствует.

  • Прибор не фиксирует низкие значения
  • Отдельные группы лиц не склонны раскрывать информацию
Введение в Python в Power BI

Как работать с пропущенными данными?

Пропуск не случаен

  • Приостановить анализ
  • Разобраться в причинах пропусков
  • Собрать дополнительные данные
  • Чётко задокументировать ограничения и допущения

Пропуск случаен

  • Удалить наблюдения
  • Добавить индикаторную переменную: 1 — пропуск, 0 — нет
  • Импутация
Введение в Python в Power BI

Импутация

Определение: замена пропущенного значения другим.

Виды импутации:

  • Среднее
  • Медиана
  • Мода
  • Предыдущее или следующее значение

Оптимально, когда пропущено не более 5% данных столбца.

Не забудьте предварительно отсортировать значения!

Введение в Python в Power BI

Импутация — пример

Пропуск случаен

Таблица с данными об осадках (в дюймах) по трём городам: Сиэтл, Нью-Йорк и Париж — с пропущенными наблюдениями.

Импутация по медиане

Таблица с данными об осадках (в дюймах) по трём городам: Сиэтл, Нью-Йорк и Париж. Пропущенные наблюдения заполнены медианным значением по городу.

Введение в Python в Power BI

Набор данных

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Введение в Python в Power BI

Давайте потренируемся!

Введение в Python в Power BI

Preparing Video For Download...