機械学習のリスク

ビジネスのための機械学習

Karolis Urbonas

Head of Machine Learning & Science, Amazon

性能が低い

一部のモデルは性能が低い（必ず訓練ではなくテスト性能を確認）：

• 適合率が低い

• 再現率が低い

• 誤差が大きい

適合率が低い

適合率が低い - 関心クラスに誤分類が多い＝偽陽性が多い

例：購入見込みと予測された顧客のうち実際に購入したのは10%のみ

再現率が低い

再現率が低い - 関心クラスの観測のうち、モデルが正しく捉えた割合が小さい

例：不正取引のうち、モデルが特定できたのは25%のみ

誤差が大きい

誤差が大きい - 予測値と実測値の差が大きい

例：顧客満足度スコア予測の平均誤差が3.5単位、または70ポイント

アクションにつながらないユースケース

Q: 正しくモデルを検証するには？

A: テスト／実験で性能を検証（例：離反防止メール、プロモーション、手動保全、手動取引審査）

A/Bテスト

テストがうまくいかない場合は？

• 追加データを取得（事業部門の関与が必要）
• 要因を理解するため因果モデルを構築
• 定性調査を実施（アンケート等）
• 問題のスコープを変更
  • さらに絞る
  • 広げる
  • 質問を変える

Passons à la pratique !

ビジネスのための機械学習