Prestaties van kredietmodel

Kredietrisicomodellering in Python

Michael Crabtree

Data Scientist, Ford Motor Company

Modelaccuracy berekenen

Bereken accuracy

Formule voor accuracy

Gebruik de methode .score() van scikit-learn

# Controleer de accuracy op de testdata
clf_logistic1.score(X_test,y_test)

0.81

81% van de waarden voor loan_status correct voorspeld

ROC-curves

Receiver Operating Characteristic-curve
- Plot true positive rate (sensitiviteit) tegen false positive rate (fall-out)

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')

Voorbeeld ROC-grafiek

ROC-grafieken analyseren

Area Under Curve (AUC): gebied tussen curve en willekeurige voorspelling

ROC-grafiek met annotatie voor lift en AUC

Drempels voor default

Drempel: vanaf welke kans het een default is

Diagram van kansdrempel

De drempel instellen

Herlabel leningen op basis van onze drempel van 0.5

preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)

Data met kansen en leningstatus

Classificatierapporten voor krediet

classification_report() in scikit-learn

from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)

Voorbeeld van classificatierapport

Classificatiemetrics selecteren

Kies en bewaar specifieke onderdelen uit classification_report()
Gebruik de functie precision_recall_fscore_support() van scikit-learn

Voorbeeldrapport met standaard recall

from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]

Laten we oefenen!

Kredietrisicomodellering in Python