Výkonnost úvěrového modelu

Credit Risk Modeling in Python

Michael Crabtree

Data Scientist, Ford Motor Company

Hodnocení přesnosti modelu

Výpočet přesnosti

Vzorec pro výpočet přesnosti

Použití metody .score() ze scikit-learn

# Check the accuracy against the test data
clf_logistic1.score(X_test,y_test)

0.81

81 % hodnot loan_status předpovězeno správně

Grafy křivky ROC

Křivka ROC (Receiver Operating Characteristic)
- Zobrazuje míru skutečně pozitivních (senzitivitu) oproti míře falešně pozitivních

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')

Příklad grafu ROC

Analýza grafů ROC

AUC (plocha pod křivkou): oblast mezi křivkou a náhodnou predikcí

Příklad grafu ROC s anotací pro lift a AUC

Prahy selhání

Práh: od jaké pravděpodobnosti se jedná o selhání

Diagram prahu pravděpodobnosti

Nastavení prahu

Přeznačení úvěrů na základě prahu 0.5

preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)

Vzorek dat s pravděpodobnostmi a stavem úvěru

Klasifikační reporty úvěrů

classification_report() ze scikit-learn

from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)

Příklad klasifikačního reportu

Výběr klasifikačních metrik

Výběr a uložení konkrétních hodnot z classification_report()
Použití funkce precision_recall_fscore_support() ze scikit-learn

Příklad klasifikačního reportu s výchozí hodnotou recall

from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]

Pojďme si procvičit!

Credit Risk Modeling in Python