Навіщо працювати з пропущеними даними?
Робота з пропущеними даними в Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
Чому виникають пропущені дані?
- Дані зі світу — часто «брудні» дані
Чи знали ви, що 72% організацій вважають, що проблеми з якістю даних підривають довіру та сприйняття клієнтами?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Чому виникають пропущені дані?
- Значення втрачаються під час збору даних
- Несправні датчики під час аналізу погоди
- Неповні дані пацієнтів для медичної діагностики тощо
- Значення випадково видалені
- Втрата даних
- Помилкове видалення через людський фактор
У цьому курсі ви навчитеся
- важливість обробки пропусків
- як знаходити пропуски у «брудних» даних
- як аналізувати типи пропусків
- як коректно обробляти пропуски для
- числових даних
- часових рядів
- категоріальних значень
У цьому курсі ви навчитеся
- імпутувати (замінювати) пропуски простими методами
- імпутувати за допомогою просунутих методів
- і зрештою оцінювати найкращий спосіб обробки пропусків
Робочий процес обробки пропусків
- Перетворити всі пропуски на значення null.
- Проаналізувати обсяг і типи пропусків у даних.
- Коректно видалити або імпутувати пропущені значення.
- Оцінити та порівняти якість набору даних після обробки/імпутації.
Операції з NULL-значеннями
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Операції з NULL-значеннями
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Давайте потренуємось!
Робота з пропущеними даними в Python
