分類評価指標

Python によるモデル検証

Kasey Jones

Data Scientist

分類評価指標

  • 適合率（Precision）
  • 再現率（Sensitivity/Recall）
  • 正解率（Accuracy）
  • 特異度（Specificity）
  • F1スコアとその変種
  • …
Python によるモデル検証

分類評価指標

  • 適合率（Precision）
  • 再現率（Recall）（感度とも呼ぶ）
  • 正解率（Accuracy）
  • 特異度（Specificity）
  • F1スコアとその変種
  • …
Python によるモデル検証

混同行列

混同行列は2×2の行列で、0/1の予測数と実際の0/1数を表します。各種の精度指標を算出できます。

Python によるモデル検証
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, test_predictions)
print(cm)

array([[ 23,  7],
       [  8, 62]])

cm[<true_category_index>, <predicted_category_index>]
cm[1, 0]

8
Python によるモデル検証

正解率

正解率は混同行列の主対角から計算できます。

Python によるモデル検証

適合率（Precision）

適合率は「1」と予測した観測に注目します。そのうち実際に「1」はどれだけか？

Python によるモデル検証

再現率（Recall）

再現率は実際に「1」の観測に注目します。そのうち「1」と予測できたのはどれだけか？

Python によるモデル検証

正解率・適合率・再現率

from sklearn.metrics import accuracy_score, precision_score, recall_score
accuracy_score(y_test, test_predictions)

.85

precision_score(y_test, test_predictions)

.8986

recall_score(y_test, test_predictions)

.8857
Python によるモデル検証

演習

Python によるモデル検証

Preparing Video For Download...