Оценка модели: несбалансированная классификация

Практика вопросов интервью по машинному обучению на Python

Lisa Stuart

Data Scientist

Дисбаланс классов

• Категориальная целевая переменная
  • Примерно равное число наблюдений на класс
  • Большой дисбаланс → искажённые результаты

Матрица ошибок

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Метрики качества

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Метрики на основе матрицы

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Методы ресэмплинга

• Увеличить выборку миноритарного класса
• Уменьшить выборку мажоритарного класса
• ВАЖНО: разделите данные на обучающую и тестовую выборки ДО повторной выборки!

¹ https://www.svds.com/learning-imbalanced-classes/

Функции

Функция	возвращает
sklearn.linear_model.LogisticRegression	логистическая регрессия
sklearn.metrics.confusion_matrix(y_test,y_pred)	матрица ошибок
sklearn.metrics.precision_score(y_test,y_pred)	точность
sklearn.metrics.recall_score(y_test,y_pred)	полнота
sklearn.metrics.f1_score(y_test,y_pred)	F1-мера
sklearn.utils.resample(deny, n_samples=len(approve))	повторная выборка

Давайте потренируемся!

Практика вопросов интервью по машинному обучению на Python