Оцінювання моделі: незбалансовані моделі класифікації

Практика співбесід з Machine Learning у Python

Lisa Stuart

Data Scientist

Дисбаланс класів

• Категоріальна цільова змінна
  • Прибл. однакова кількість спостережень/клас
  • Велика різниця → хибні результати

Матриця неточностей

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Показники якості

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Показники з матриці

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Методи ресемплінгу

• Оверсемплінг міноритарного класу
• Андерсемплінг мажоритарного класу
• УВАГА: Розбийте на train/test ДО ресемплінгу!

¹ https://www.svds.com/learning-imbalanced-classes/

Функції

Функція	повертає
sklearn.linear_model.LogisticRegression	логістичну регресію
sklearn.metrics.confusion_matrix(y_test,y_pred)	матрицю неточностей
sklearn.metrics.precision_score(y_test,y_pred)	точність (precision)
sklearn.metrics.recall_score(y_test,y_pred)	повноту (recall)
sklearn.metrics.f1_score(y_test,y_pred)	F1-міру
sklearn.utils.resample(deny, n_samples=len(approve))	виконує ресемплінг

Давайте потренуємось!

Практика співбесід з Machine Learning у Python