Kreditmodellens prestanda

Kreditriskmodellering i Python

Michael Crabtree

Data Scientist, Ford Motor Company

Noggrannhetspoäng för modellen

Beräkna noggrannhet

Formel för noggrannhet

Använd metoden .score() från scikit-learn

# Check the accuracy against the test data
clf_logistic1.score(X_test,y_test)

0.81

81 % av värdena för loan_status förutsades korrekt

ROC-kurvor

Receiver Operating Characteristic-kurva
- Plottar andelen sanna positiva (känslighet) mot andelen falska positiva

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')

Exempel på ROC-diagram

Analysera ROC-kurvor

Area Under Curve (AUC): ytan mellan kurvan och slumpmässig prediktion

ROC-diagram med annotation för lift och AUC

Trösklar för fallissemang

Tröskel: vid vilken sannolikhet ett lån klassas som fallissemang

Diagram över sannolikhetströskel

Ange tröskeln

Märk om lån baserat på tröskeln 0.5

preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)

Dataurval med sannolikheter och lånestatus

Klassificeringsrapporter för kredit

classification_report() i scikit-learn

from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)

Exempel på klassificeringsrapport

Välja klassificeringsmått

Välj och lagra specifika komponenter från classification_report()
Använd funktionen precision_recall_fscore_support() från scikit-learn

Exempel på klassificeringsrapport med återkallning för fallissemang

from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]

Nu kör vi en övning!

Kreditriskmodellering i Python