パフォーマンスの追跡

意思決定サイエンスをひも解く

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

モデル性能

モデルにより得意分野が異なる

  • あるモデルは延滞しやすい顧客の特定が得意
  • 別のモデルは延滞額の推定が得意

  天秤の図

どちらが良いかは目的次第

  • リスクの高い顧客の検知を重視するか
  • 延滞の金銭的影響の推定を重視するか
意思決定サイエンスをひも解く

モデル指標

指標ごとに性能の見える側面が異なる

よく使う評価指標：

  • Accuracy（正解率）
  • Precision（適合率）
  • Recall（再現率）
  • F1-Score
  • Area Under the Curve（AUC）
  • Mean Absolute Error（MAE）
  • Mean Absolute Percent Error（MAPE）

  ダッシュボード.png

意思決定サイエンスをひも解く

正解率（Accuracy）

 

全体の正しさの概観

  • 予測のうち正しかった割合を測る
  • クラスが均衡のとき有効（例：spam vs not spam）

正解率.png

適合率（Precision）

 

陽性予測のうち実際に正しい割合

  • 偽陽性のコストが高い場合に重要
  • 低いと正当な取引を多数fraudulentと誤検知

適合率.png

意思決定サイエンスをひも解く

さらに指標を知る

再掲：真陽性を逃さない（リコール）

  • 実際の陽性をどれだけ見つけられるかを測る
  • 見逃しコストが高い場合に重要（例：不正、疾病）

ROC曲線下面積（AUC）：クラス分離の指標

  • クラスをどれだけ区別できるかを評価
  • 特定のしきい値に依存しない

回帰指標：予測誤差の測定

  • 平均絶対誤差（MAE）：誤差の平均的な大きさ
  • 平均百分率誤差（MPE）：誤差を百分率で測る

 

詳細な指標.png

意思決定サイエンスをひも解く

ダッシュボードは重要

ダッシュボードは複雑な分析を明確で実行可能な示唆に変え、意思決定を促します。

 

ダッシュボードの例

意思決定サイエンスをひも解く

基本原則

 

受け手を意識する

  • 経営層は要約を求める
  • アナリストは詳細が必要

 

主要指標を強調

  • 重要なものだけを表示
  • 余計な情報は避ける

 

明快な可視化を使う

  • 比較は棒グラフ、時系列の傾向は折れ線グラフ
  • シンプルが最良なことが多い

  明快な可視化.png

意思決定サイエンスをひも解く

追加の原則

時間変化を追う

  • モデル性能と特徴量ドリフトを監視
  • 傾向は指標に文脈を与える

数値だけでなく文脈を付与

  • 主要な変化を短い注釈で説明
  • 何がなぜ起きているかを示す

テストして反復

  • 早期に共有し、フィードバックを得る
  • モデルや要件の変化に合わせて更新

反復.png

意思決定サイエンスをひも解く

Let's practice!

意思決定サイエンスをひも解く

Preparing Video For Download...