Выбросы в данных и масштабирование

Практика вопросов интервью по машинному обучению на Python

Lisa Stuart

Data Scientist

Выбросы

Одно или несколько наблюдений, значительно отличающихся от остальных в данном признаке.

Выбросы в данных

¹ https://bolt.mph.ufl.edu/6050-6052/unit-1/one-quantitative-variable-introduction/understanding-outliers/

МКР данных

¹ Автор: Jhguch, en.wikipedia, CC BY-SA 2.5, https://commons.wikimedia.org/w/index.php?curid=14524285

Подгонка линейной модели

¹ https://www.r-bloggers.com/outlier-detection-and-treatment-with-r/

Функция	возвращает
`sns.boxplot(x= , y='Loan Status')`	ящик с усами по целевой переменной
`sns.distplot()`	гистограмму и оценку плотности ядра (KDE)
`np.abs()`	абсолютное значение
`stats.zscore()`	вычисленный z-показатель
`mstats.winsorize(limits=[0.05, 0.05])`	ограничение выбросов снизу и сверху
`np.where(condition, true, false)`	замену значений

Дисперсия

¹ https://machinelearningmastery.com/a-gentle-introduction-to-calculating-normal-summary-statistics/

Стандартизация:
- Z-стандартизация
- Приводит к среднему 0 и стандартному отклонению 1

Формула z-стандартизации

Формула минимакс-масштабирования

¹ https://medium.com/@rrfd/standardize-or-normalize-examples-in-python-e3f174b65dfc

Как выявлять выбросы и правильно с ними работать? Как min/max-нормализация и z-стандартизация влияют на данные? Выберите верное утверждение:

Выброс — это точка, находящаяся чуть за пределами диапазона схожих значений в признаке.
В определённом контексте аномальные выбросы полезны при построении предсказательной модели машинного обучения.
Минимакс-масштабирование приводит данные к среднему 0, стандартному отклонению 1 и увеличивает дисперсию.
Z-стандартизация масштабирует данные к диапазону (0, 1) и улучшает качество модели.

Как выявлять выбросы и правильно с ними работать? Как min/max-нормализация и z-стандартизация влияют на данные? Правильный ответ:

В определённом контексте аномальные выбросы полезны при построении предсказательной модели машинного обучения. (Аномалии в данных часто встречаются при обнаружении мошенничества, кибератак и в других задачах, где именно их и нужно находить.)

Как выявлять выбросы и правильно с ними работать? Как min/max-нормализация и z-стандартизация влияют на данные?

Выброс — это точка чуть за пределами диапазона схожих значений в признаке. (Точка не считается подозрительной как выброс, пока не превышает МКР более чем в 1,5 раза.)
Минимакс-масштабирование приводит данные к среднему 0, стандартному отклонению 1 и увеличивает дисперсию. (Минимакс-масштабирование переводит данные в диапазон (0, 1); то, увеличивается или уменьшается дисперсия, зависит от исходных данных.)
Z-стандартизация масштабирует данные к диапазону (0, 1) и улучшает качество модели. (Z-стандартизация приводит данные к среднему 0 и стандартному отклонению 1, что может улучшить качество модели.)

Этапы предобработки

Практика вопросов интервью по машинному обучению на Python