Rendimiento del modelo de crédito
Modelado del riesgo crediticio en Python
Michael Crabtree
Data Scientist, Ford Motor Company
Puntuación de accuracy del modelo
- Calcula la accuracy
- Usa el método
.score()de scikit-learn
# Comprueba la accuracy en los datos de test
clf_logistic1.score(X_test,y_test)
0.81
- 81% de los valores de
loan_statuspredichos correctamente
Gráficas de curva ROC
- Curva ROC (Receiver Operating Characteristic)
- Grafica tasa de verdaderos positivos (sensibilidad) frente a tasa de falsos positivos (fall-out)
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity, color = 'darkorange')
Analizar gráficas ROC
- Área bajo la curva (AUC): área entre la curva y la predicción aleatoria
Umbrales de default
- Umbral: a partir de qué probabilidad es default
Definir el umbral
- Reetiqueta los préstamos según nuestro umbral de
0.5
preds = clf_logistic.predict_proba(X_test)
preds_df = pd.DataFrame(preds[:,1], columns = ['prob_default'])
preds_df['loan_status'] = preds_df['prob_default'].apply(lambda x: 1 if x > 0.5 else 0)
Informes de clasificación de crédito
classification_report()de scikit-learn
from sklearn.metrics import classification_report
classification_report(y_test, preds_df['loan_status'], target_names=target_names)
Seleccionar métricas de clasificación
- Selecciona y guarda componentes concretos de
classification_report() - Usa la función
precision_recall_fscore_support()de scikit-learn
from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(y_test,preds_df['loan_status'])[1][1]
