分類評估指標

Python 的模型驗證

Kasey Jones

Data Scientist

分類評估指標

  • Precision（精確率）
  • Recall（也稱 sensitivity，靈敏度）
  • Accuracy（正確率）
  • Specificity（特異度）
  • F1-Score 與其變體
  • …
Python 的模型驗證

分類評估指標

  • Precision（精確率）
  • Recall（召回率／靈敏度）
  • Accuracy（正確率）
  • Specificity（特異度）
  • F1-Score 與其變體
  • …
Python 的模型驗證

混淆矩陣（Confusion matrix）

混淆矩陣是 2x2 矩陣，表示被預測為 0 或 1 的筆數，以及實際為 0 或 1 的筆數。可用來計算各種正確率指標。

Python 的模型驗證
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, test_predictions)
print(cm)

array([[ 23,  7],
       [  8, 62]])

cm[<true_category_index>, <predicted_category_index>]
cm[1, 0]

8
Python 的模型驗證

Accuracy（正確率）

正確率可由混淆矩陣的主對角線計算。

Python 的模型驗證

Precision（精確率）

精確率著重於被預測為 1 的觀測值：在所有預測為 1 中，實際為 1 的比例是多少？

Python 的模型驗證

Recall（召回率／靈敏度）

召回率著重於實際為 1 的觀測值：在這些實際為 1 中，有多少被我們預測為 1？

Python 的模型驗證

Accuracy、Precision、Recall

from sklearn.metrics import accuracy_score, precision_score, recall_score
accuracy_score(y_test, test_predictions)

.85

precision_score(y_test, test_predictions)

.8986

recall_score(y_test, test_predictions)

.8857
Python 的模型驗證

Practice time

Python 的模型驗證

Preparing Video For Download...