Оцінювання моделі та впровадження

Моделювання кредитного ризику в Python

Michael Crabtree

Data Scientist, Ford Motor Company

Порівняння звітів класифікації

Створіть звіти за допомогою classification_report() і порівняйте

Звіт класифікації для логістичної регресії та градієнтного бустингу дерев

Формули для F1 та макросереднього F1

Аналіз ROC і AUC

Моделі з кращою якістю мають більший ліфт
Більший ліфт означає вищий AUC

Приклад ROC‑кривих для двох моделей

Калібрування моделі

Імовірності дефолту мають коректно відображати впевненість моделі
- Імовірність дефолту має певну невизначеність у прогнозах
Вибірка позик і їхні передбачені PD має бути близькою до частки дефолтів у цій вибірці

Вибірка позик	Середня передбачена PD	Частка фактичних дефолтів у вибірці	Калібровано?
10	0.12	0.12	Так
10	0.25	0.65	Ні

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

Обчислення калібрування

Показує відсоток справжніх дефолтів для кожної передбаченої імовірності
По суті, це лінійний графік результатів calibration_curve()

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

Побудова калібрувальних кривих

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Приклад калібрувальної кривої

Перевірка калібрувальних кривих

Для прикладу: дві події (вище та нижче ідеальної лінії)

Калібрувальна крива з двома прикладами некаліброваних прогнозів

Інтерпретація калібрувальної кривої

Калібрувальна крива з прикладом вище

Інтерпретація калібрувальної кривої

Калібрувальна крива з прикладом нижче

Давайте потренуємось!

Моделювання кредитного ризику в Python