機器學習風險

Machine Learning for Business

Karolis Urbonas

Head of Machine Learning & Science, Amazon

效能不佳

有些模型表現不佳（務必檢查測試效能，而非訓練）：

• 低精確率

• 低召回率

• 誤差大

低精確率

低精確率——在關注的類別中有許多誤判＝很多假陽性

例：被判為可能購買的顧客中，實際購買的只有 10%

低召回率

低召回率——模型只正確擷取（召回）了該類別中很小的一部分觀測值

例：模型只識別出所有詐欺交易的 25%

誤差大

誤差大——預測值與實際值差距很大

例：顧客滿意度評分的平均誤差為 3.5 單位，或以百分點計為 70%

不可行動的模型情境

問：如何正確測試模型？

答：執行測試／實驗來驗證效能，例如流失預防信件、產品促銷、人工設備維護、人工交易審查

A/B 測試

若測試無效怎麼辦？

• 取得更多資料——需結合商務團隊
• 建立因果模型以理解驅動因素
• 進行質化研究（問卷等）
• 調整問題範疇
  • 縮小
  • 擴大
  • 改問法

一起來練習吧！

Machine Learning for Business