Пропуски в даних та імпутація

Вступ до Python у Power BI

Jacob H. Marquez

Data Scientist

Що таке пропущені дані?

Поширені значення для «пропусків»:

  • null
  • NA
  • 99
  • ""
Вступ до Python у Power BI

Що таке пропущені дані?

Поширені значення для «пропусків»:

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Вступ до Python у Power BI

Чому дані відсутні?

  • Учасник забув або відмовився відповісти на запитання в опитуванні
  • Учасник вибув із другої частини дослідження
  • Збій інструмента вимірювання
  • Закони про приватність обмежують використання даних
Вступ до Python у Power BI

Чи є пропуски випадковими?

Пропуски випадкові (MAR)

Таблиця опадів, у дюймах, для трьох міст — Seattle, New York City і Paris.

Вступ до Python у Power BI

Чи є пропуски випадковими?

Пропуски невипадкові (MNAR)

Таблиця опадів, у дюймах, для трьох міст — Seattle, New York City і Paris. Один рядок для Seattle відсутній.

Вступ до Python у Power BI

Чи є пропуски випадковими?

Пропуски невипадкові (MNAR)

Таблиця опадів, у дюймах, для трьох міст — Seattle, New York City і Paris. Один рядок для Seattle відсутній.

  • Інструмент не фіксує малі значення
  • Деякі групи людей рідко розкривають інформацію
Вступ до Python у Power BI

Як працювати з пропущеними даними?

Пропуски невипадкові (MNAR)

  • Призупиніть аналіз
  • З'ясуйте причини пропусків
  • Зберіть більше даних
  • Чітко задокументуйте обмеження та припущення

Пропуски випадкові (MAR)

  • Видаліть спостереження
  • Додайте індикатор пропуску: 1 — є, 0 — немає
  • Імпутація
Вступ до Python у Power BI

Імпутація

Визначення: заміна пропущеного значення іншим.

Види імпутації:

  • Середнє
  • Медіана
  • Мода
  • Попереднє або наступне значення

Найкраще, коли пропущено до 5% значень у стовпці.

Не забудьте відсортувати значення!

Вступ до Python у Power BI

Імпутація — приклад

Пропуски випадкові (MAR)

Таблиця опадів, у дюймах, для трьох міст — Seattle, New York City і Paris — з пропусками.

Імпутація медіаною

Таблиця опадів, у дюймах, для трьох міст — Seattle, New York City і Paris. Пропуски заповнено медіаною по місту.

Вступ до Python у Power BI

Набір даних

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Вступ до Python у Power BI

Давайте потренуємось!

Вступ до Python у Power BI

Preparing Video For Download...