クレジットデータの外れ値

Pythonで学ぶクレジットリスクモデリング

Michael Crabtree

Data Scientist, Ford Motor Company

データ前処理

  • 前処理済みデータは学習を高速化
  • 多くの場合、モデル性能を向上

3つの異なるモデルのROC曲線

Pythonで学ぶクレジットリスクモデリング

外れ値と性能

外れ値の主な原因:

  • データ入力の不備（人的ミス）
  • データ取り込みツールの不具合
Pythonで学ぶクレジットリスクモデリング

外れ値と性能

外れ値の主な原因:

  • データ入力の不備（人的ミス）
  • データ取り込みツールの不具合
特徴量 外れ値ありの係数 外れ値なしの係数
金利 0.2 0.01
勤務年数 0.5 0.6
収入 0.6 0.75
Pythonで学ぶクレジットリスクモデリング

クロス集計で外れ値を検出

  • 集計関数付きクロス集計を使用
pd.crosstab(cr_loan['person_home_ownership'], cr_loan['loan_status'],
            values=cr_loan['loan_int_rate'], aggfunc='mean').round(2)

Pythonで学ぶクレジットリスクモデリング

外れ値を可視的に検出

外れ値を可視的に検出

  • ヒストグラム
  • 散布図

勤務年数とローン金利の散布図

Pythonで学ぶクレジットリスクモデリング

外れ値の除去

  • Pandas の.drop()メソッドを使用
indices = cr_loan[cr_loan['person_emp_length'] >= 60].index
cr_loan.drop(indices, inplace=True)

外れ値を除いた金利と勤務年数の散布図

Pythonで学ぶクレジットリスクモデリング

演習に進みましょう！

Pythonで学ぶクレジットリスクモデリング

Preparing Video For Download...