模型效能評估

Machine Learning for Business

Karolis Urbonas

Head of Machine Learning & Science, Amazon

效能評估類型

監督式學習兩大指標：

1. Accuracy → 分類
2. Error → 迴歸

分類效能

• Accuracy

• Recall

• Precision

流失範例

流失範例

流失預測

錯分項目

另一個流失預測

Accuracy（正確率）

Precision（精確率）

Recall（召回率）

迴歸效能

• Error

迴歸範例

用直線預測營收

迴歸誤差

測試非線性模型

降低誤差

可行模型與 A/B 測試

好模型不一定可執行：

流失預測、購買預測、機器故障預測

測試使用模型是否能改善成效：

對預測將流失的客戶提供誘因（折扣、優惠券、促銷）

對可能購買的客戶寄發提醒信與產品資訊

是否因此降低流失、提高購買率、減少故障？若為 是，納入自動化流程；若為 否，蒐集更多資料、改進模型，再次測試。

一起來練習吧！

Machine Learning for Business