Ефективність кредитної моделі
Моделювання кредитного ризику в Python
Michael Crabtree
Data Scientist, Ford Motor Company
Оцінювання точності моделі
- Обчисліть точність
- Використайте метод
.score()зі scikit-learn
# Перевірте точність на тестових даних
clf_logistic1.score(X_test,y_test)
0.81
- 81% значень
loan_statusпередбачено правильно
Графіки кривої ROC
- Крива ROC (Receiver Operating Characteristic)
- Відображає частку істинно позитивних (чутливість) проти частки хибно позитивних (fall-out)
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')
Аналіз графіків ROC
- Площа під кривою (AUC): площа між кривою та випадковим передбаченням
Пороги дефолту
- Поріг: з якої імовірності вважаємо дефолт
Встановлення порога
- Перемаркуйте кредити за порогом
0.5
preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)
Звіти класифікації для кредитів
classification_report()у scikit-learn
from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)
Вибір метрик класифікації
- Оберіть і збережіть потрібні компоненти з
classification_report() - Скористайтеся функцією
precision_recall_fscore_support()зі scikit-learn
from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]
