Оценка кредитной модели

Моделирование кредитного риска на Python

Michael Crabtree

Data Scientist, Ford Motor Company

Оценка точности модели

  • Вычисление точности

Формула точности

  • Метод .score() из scikit-learn
# Check the accuracy against the test data
clf_logistic1.score(X_test,y_test)

0.81
  • 81% значений loan_status предсказаны верно
Моделирование кредитного риска на Python

ROC-кривые

  • Кривая рабочей характеристики приёмника (ROC)
    • Строит зависимость истинно положительной доли (чувствительности) от ложноположительной доли
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')

Пример ROC-кривой

Моделирование кредитного риска на Python

Анализ ROC-кривых

  • AUC (Area Under Curve): площадь между кривой и случайным предсказанием

Пример ROC-кривой с аннотацией для подъёма и AUC

Моделирование кредитного риска на Python

Пороги дефолта

  • Порог: при каком значении вероятности кредит считается дефолтным

Диаграмма порога вероятности

Моделирование кредитного риска на Python

Установка порога

  • Переразметка кредитов на основе порога 0.5
preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)

Образец данных с вероятностями и статусами кредитов

Моделирование кредитного риска на Python

Отчёты классификации кредитов

  • classification_report() из scikit-learn
from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)

Пример отчёта классификации

Моделирование кредитного риска на Python

Выбор метрик классификации

  • Извлечение отдельных компонентов из classification_report()
  • Функция precision_recall_fscore_support() из scikit-learn

Пример отчёта классификации с полнотой по дефолту

from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]
Моделирование кредитного риска на Python

Давайте потренируемся!

Моделирование кредитного риска на Python

Preparing Video For Download...