追蹤效能

解密 Decision Science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

模型效能

不同模型，各有所長

  • 一個較擅長找出可能違約的人
  • 另一個較擅長估計可能的違約金額

  scales.png

哪個模型較好？取決於目標

  • 你更在意標記高風險客戶嗎
  • 還是估計違約的財務影響
解密 Decision Science

模型指標

不同指標凸顯效能的不同面向

常用評估指標：

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  dashboard.png

解密 Decision Science

Accuracy

 

整體正確率概覽

  • 衡量模型所有預測中正確的百分比
  • 類別平衡時效果佳，如 spam vs not spam

acc.png

Precision

 

被預測為正類中有多少是真的

  • 當偽陽性成本高時很重要
  • Precision 低＝把許多正常交易標成 fraudulent

precision.png

解密 Decision Science

更多指標

Recall：抓到真正的正類

  • 衡量模型找出實際正類的能力
  • 漏掉案例代價高時很重要（如詐欺、疾病）

AUC：類別可分性的量化

  • 評估模型區分類別的能力
  • 不受特定閾值影響

迴歸指標：衡量預測誤差

  • Mean Absolute Error (MAE)：誤差大小的平均
  • Mean Percentage Error (MPE)：以百分比衡量預測偏離程度

 

moremetrics.png

解密 Decision Science

儀表板很關鍵

儀表板將複雜分析轉為清楚、可行的洞見，讓決策更容易推動。

 

dahsboard2.gif

解密 Decision Science

基本原則

 

了解你的受眾

  • 管理層要重點摘要
  • 分析師要細節

 

強調關鍵指標

  • 只呈現最重要的
  • 避免雜訊與堆疊

 

使用清楚的視覺化

  • 長條圖比大小，折線圖看時間趨勢
  • 簡單通常最好

  clear.png

解密 Decision Science

更多原則

追蹤隨時間的變化

  • 監控模型效能與特徵漂移
  • 趨勢為指標提供脈絡

不只數字，還要脈絡

  • 用簡短註解說明關鍵變化
  • 幫助使用者理解發生什麼事與原因

測試並反覆改進

  • 早點分享並收集回饋
  • 隨模型與需求演進更新儀表板

iterate.png

解密 Decision Science

一起來練習吧！

解密 Decision Science

Preparing Video For Download...