信用資料中的離群值

以 Python 進行信用風險建模

Michael Crabtree

Data Scientist, Ford Motor Company

資料處理

  • 整理過的資料可讓模型訓練更快
  • 往往能提升模型效能

三個不同模型的 ROC 圖

以 Python 進行信用風險建模

離群值與效能

離群值可能的成因：

  • 資料輸入系統問題（人工錯誤）
  • 資料匯入工具問題
以 Python 進行信用風險建模

離群值與效能

離群值可能的成因：

  • 資料輸入系統問題（人工錯誤）
  • 資料匯入工具問題
特徵 含離群值的係數 不含離群值的係數
Interest Rate 0.2 0.01
Employment Length 0.5 0.6
Income 0.6 0.75
以 Python 進行信用風險建模

用交叉表偵測離群值

  • 使用交叉表搭配彙總函式
pd.crosstab(cr_loan['person_home_ownership'], cr_loan['loan_status'],
            values=cr_loan['loan_int_rate'], aggfunc='mean').round(2)

以 Python 進行信用風險建模

視覺化偵測離群值

視覺化偵測離群值

  • 直方圖
  • 散佈圖

就業年資與貸款利率的散佈圖

以 Python 進行信用風險建模

移除離群值

  • 在 Pandas 中使用 .drop() 方法
indices = cr_loan[cr_loan['person_emp_length'] >= 60].index
cr_loan.drop(indices, inplace=True)

移除離群值後的利率與就業年資散佈圖

以 Python 進行信用風險建模

一起來練習吧！

以 Python 進行信用風險建模

Preparing Video For Download...