モデルの性能評価

ビジネスのための機械学習

Karolis Urbonas

Head of Machine Learning & Science, Amazon

性能評価の種類

教師あり学習の主要指標:

1. 正解率 → 分類
2. 誤差 → 回帰

分類の性能

• 正解率

• 再現率

• 適合率

解約の例

解約の例

解約予測

誤分類アイテム

別の解約予測

正解率

適合率

再現率

回帰の性能

• 誤差

回帰の例

直線で売上を予測

回帰誤差

非線形モデルの検証

誤差の改善

実行可能なモデル - A/Bテスト

良いモデルが常に実行可能とは限りません:

解約予測、購入予測、機器故障予測

モデル活用で成果が向上するか検証:

解約予測の顧客に特典（割引、クーポン、プロモーション）を提供

購入見込み客にリマインドメールと製品情報を送付

これで解約減、購入率増、故障減となりましたか？ はいなら自動化に組み込み、いいえならデータ追加・モデル改善・再検証。

演習に進みましょう！

ビジネスのための機械学習