Оценка и внедрение модели

Моделирование кредитного риска на Python

Michael Crabtree

Data Scientist, Ford Motor Company

Сравнение отчётов классификации

Создайте отчёты с помощью classification_report() и сравните их

Отчёт классификации для логистической регрессии и градиентного бустинга

Формула F1-меры и макросредней F1-меры

Анализ ROC и AUC

Более качественные модели имеют более высокий подъём
Чем выше подъём, тем выше значение AUC

Пример ROC-кривой для двух моделей

Калибровка модели

Вероятности дефолта должны точно отражать уверенность модели
- Прогнозы вероятности дефолта содержат определённую долю неопределённости
Средняя прогнозируемая вероятность дефолта для выборки кредитов должна быть близка к фактической доле дефолтов в этой выборке

Выборка кредитов	Средняя прогнозируемая PD	Фактическая доля дефолтов	Калибровка?
10	0.12	0.12	Yes
10	0.25	0.65	No

¹ http://datascienceassn.org/sites/default/files/Predicting%20good%20probabilities%20with%20supervised%20learning.pdf

Вычисление калибровки

Показывает долю истинных дефолтов для каждой прогнозируемой вероятности
По сути, это линейный график результатов calibration_curve()

from sklearn.calibration import calibration_curve
calibration_curve(y_test, probabilities_of_default, n_bins = 5)

# Fraction of positives
(array([0.09602649, 0.19521012, 0.62035996, 0.67361111]),
# Average probability
 array([0.09543535, 0.29196742, 0.46898465, 0.65512207]))

Построение калибровочных кривых

plt.plot(mean_predicted_value, fraction_of_positives, label="%s" % "Example Model")

Пример калибровочной кривой

Проверка калибровочных кривых

Для примера выбраны два события (выше и ниже идеальной линии)

Калибровочная кривая с двумя примерами неоткалиброванных прогнозов

Интерпретация калибровочной кривой

Калибровочная кривая с примером выше идеальной линии

Интерпретация калибровочной кривой

Калибровочная кривая с примером ниже идеальной линии

Давайте потренируемся!

Моделирование кредитного риска на Python