Вибір стовпців для кредитного ризику

Моделювання кредитного ризику в Python

Michael Crabtree

Data Scientist, Ford Motor Company

Вибір конкретних стовпців

  • Ми використовували всі стовпці для прогнозування
# Вибираємо кілька конкретних стовпців
X_multi = cr_loan_prep[['loan_int_rate','person_emp_length']]

# Вибираємо всі дані, крім loan_status
X = cr_loan_prep.drop('loan_status', axis = 1)
  • Як визначити важливість кожного стовпця
    • Logistic Regression: коефіцієнти стовпців
    • Gradient Boosted Trees: ?
Моделювання кредитного ризику в Python

Важливості стовпців

  • Використайте методи .get_booster() і .get_score()
    • Weight: скільки разів стовпець з'являється в усіх деревах
# Навчаємо модель
clf_gbt.fit(X_train,np.ravel(y_train))
# Друкуємо важливості ознак
clf_gbt.get_booster().get_score(importance_type = 'weight')

{'person_home_ownership_RENT': 1, 'person_home_ownership_OWN': 2}
Моделювання кредитного ризику в Python

Інтерпретація важливості стовпців

# Важливості стовпців для importance_type = 'weight'
{'person_home_ownership_RENT': 1, 'person_home_ownership_OWN': 2}

Дерево рішень у XGBoost

Моделювання кредитного ризику в Python

Візуалізація важливості стовпців

  • Скористайтеся функцією plot_importance()
xgb.plot_importance(clf_gbt, importance_type = 'weight')
{'person_income': 315, 'loan_int_rate': 195, 'loan_percent_income': 146}

Графік важливостей ознак

Моделювання кредитного ризику в Python

Вибір стовпців для навчання

  • Важливість стовпців інколи допомагає обрати стовпці для навчання
  • Різні набори впливають на якість моделей
Columns Importances Model Accuracy Model Default Recall
loan_int_rate, person_emp_length (100, 100) 0.81 0.67
loan_int_rate, person_emp_length, loan_percent_income (98, 70, 5) 0.84 0.52
Моделювання кредитного ризику в Python

F1-оцінка для моделей

  • Оцінювати accuracy і recall для різних груп стовпців — довго
  • F1 — єдина метрика, що враховує і accuracy, і recall

Формула F1-мітрики

  • Відображається в classification_report()

Звіт класифікації з виділеною F1-мітрикою

Моделювання кредитного ризику в Python

Давайте потренуємось!

Моделювання кредитного ризику в Python

Preparing Video For Download...