Зачем работать с пропущенными данными?
Работа с пропущенными данными в Python
Suraj Donthi
Deep Learning & Computer Vision Consultant
Почему возникают пропущенные данные?
- Реальные данные всегда несовершенны
Знаете ли вы, что 72% организаций считают проблемы с качеством данных угрозой доверию клиентов?
1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
Почему возникают пропущенные данные?
- Значения теряются при сборе данных
- Неисправные датчики при анализе погоды
- Неполные данные пациентов при медицинской диагностике и т. д.
- Значения удаляются случайно
- Потеря данных
- Ошибочное удаление вследствие человеческого фактора
В этом курсе вы научитесь
- важность обработки пропущенных значений
- выявлять пропущенные значения в данных
- анализировать типы пропусков
- обрабатывать пропущенные значения для
- числовых
- временных рядов
- категориальных переменных
В этом курсе вы научитесь
- заполнять пропущенные значения с помощью простых методов
- заполнять пропущенные значения с помощью продвинутых методов
- выбирать наилучший способ обработки пропущенных значений
Процесс обработки пропущенных значений
- Привести все пропущенные значения к null.
- Проанализировать количество и типы пропусков в данных.
- Удалить или заполнить пропущенные значения подходящим способом.
- Оценить и сравнить качество обработанного набора данных.
Операции с NULL-значениями
None
None or True # Same for False
True
None + True # For all operators
TypeError: unsupported operand
None / 3 # For all operators
TypeError: unsupported operand
type(None)
NoneType
np.nan
import numpy as np
np.nan or True # Same for False
nan
np.nan * True # For all operators
nan
np.nan - 3 # For all operators
nan
type(np.nan)
float
Операции с NULL-значениями
None
None == None
True
np.isnan(None)
False
np.nan
np.nan == np.nan
False
np.isnan(np.nan)
True
Давайте потренируемся!
Работа с пропущенными данными в Python
