パフォーマンスの評価

機械学習を理解する

Hadrien Lacroix

Content Developer at DataCamp

評価ステップ

過学習

• トレーニング用 データでは高い性能を発揮する
• テスト用データ では 低い性能しか発揮しない
• モデルはトレーニング用データを丸暗記してしまい、新しいデータに学習したパターンを一般化できない
• テストデータセットを使ってモデルの性能を評価

過学習の図解

正確性テスト

• 正しく分類された観測値 / すべての観測値
• 48 / 50 = 96%

精度の限界：不正の例

$$

このモデルの精度：

$$\frac{28\ 正しく分類された}{30\ 合計ポイント}=93.33\%$$

• 不正取引の大半を見逃す
• より適切な指標が必要

混同行列

真陽性

真陽性

偽陰性

偽陰性

偽陰性の覚え方

残りを入力してください...

偽陽性、真陰性

偽陽性の覚え方

感度

不正取引のうち、正しく分類できたのは何件ですか？

$$感度 = \frac{真陽性}{真陽性 + 偽陰性} =1/3=33.33\% $$

• 不正取引を承認するよりも、正当な取引を疑わしいものとしてマークする方がよい

特異度

$$特異度 = \frac{真陰性}{真陰性 + 偽陽性}$$

スパムフィルター：

• 本物のメールを迷惑メールフォルダに送るくらいなら、スパムを受信トレイに入れるほうがまし

回帰モデルの評価

回帰モデルの評価

• エラー = 点（実測値）と直線（予測値）の距離
• これを計算する方法はさまざまです。例：二乗平均平方根誤差

教師なし学習

¹ https://www.flickr.com/photos/micahdowty/8540188997

練習しましょう！

機械学習を理解する