Performanța modelului de credit

Modelarea Riscului de Credit în Python

Michael Crabtree

Data Scientist, Ford Motor Company

Scorul de acuratețe al modelului

  • Calculați acuratețea

Formula pentru acuratețe

  • Utilizați metoda .score() din scikit-learn
# Check the accuracy against the test data
clf_logistic1.score(X_test,y_test)

0.81
  • 81% din valorile loan_status prezise corect
Modelarea Riscului de Credit în Python

Grafice cu curba ROC

  • Curba Receiver Operating Characteristic
    • Reprezintă grafic rata pozitivilor reali (sensibilitate) față de rata negativilor falși (fall-out)
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')

Exemplu de grafic ROC

Modelarea Riscului de Credit în Python

Analiza graficelor ROC

  • Area Under Curve (AUC): aria dintre curbă și predicția aleatorie

Exemplu grafic ROC cu adnotări pentru lift și AUC

Modelarea Riscului de Credit în Python

Praguri de implicit

  • Prag: punctul de la care o probabilitate este considerată implicit

Diagramă a pragului de probabilitate

Modelarea Riscului de Credit în Python

Setarea pragului

  • Reclasificați împrumuturile pe baza pragului 0.5
preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)

Eșantion de date cu probabilități și statut al împrumutului

Modelarea Riscului de Credit în Python

Rapoarte de clasificare pentru credit

  • classification_report() în scikit-learn
from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)

Exemplu de raport de clasificare

Modelarea Riscului de Credit în Python

Selectarea metricilor de clasificare

  • Selectați și stocați componente din classification_report()
  • Utilizați funcția precision_recall_fscore_support() din scikit-learn

Exemplu de raport de clasificare cu recall implicit

from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]
Modelarea Riscului de Credit în Python

Să exersăm!

Modelarea Riscului de Credit în Python

Preparing Video For Download...