Prestazioni del modello di credito

Credit Risk Modeling in Python

Michael Crabtree

Data Scientist, Ford Motor Company

Valutare l'accuracy del modello

Calcola l'accuracy

Formula dell'accuracy

Usa il metodo .score() di scikit-learn

# Verifica l'accuracy sui dati di test
clf_logistic1.score(X_test,y_test)

0.81

81% dei valori di loan_status previsti correttamente

Grafici ROC

ROC (Receiver Operating Characteristic)
- Traccia tasso di veri positivi (sensibilità) vs tasso di falsi positivi (fall-out)

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')

Esempio di curva ROC

Analizzare i grafici ROC

AUC (Area Under Curve): area tra la curva e la previsione casuale

Esempio di ROC con annotazioni per lift e AUC

Soglie di default

Soglia: da quale probabilità è default

Diagramma della soglia di probabilità

Impostare la soglia

Rietichetta i prestiti in base alla soglia 0.5

preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)

Sample di dati con probabilità e loan status

Report di classificazione del credito

classification_report() in scikit-learn

from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)

Esempio di classification report

Selezionare metriche di classificazione

Seleziona e salva componenti specifici da classification_report()
Usa la funzione precision_recall_fscore_support() di scikit-learn

Esempio di classification report con recall predefinito

from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]

Passiamo alla pratica !

Credit Risk Modeling in Python