Метрики класифікації

Валідація моделей у Python

Kasey Jones

Data Scientist

Метрики класифікації

  • Precision
  • Recall (також чутливість)
  • Accuracy
  • Specificity
  • F1-Score та його варіації
  • ...
Валідація моделей у Python

Метрики класифікації

  • Precision
  • Recall (також чутливість)
  • Accuracy
  • Specificity
  • F1-Score та його варіації
  • ...
Валідація моделей у Python

Матриця помилок

Матриця помилок — це матриця 2×2, що показує, скільки спостережень передбачено як 0 або 1 та скільки з них насправді 0 або 1. На її основі обчислюють різні метрики точності.

Валідація моделей у Python
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, test_predictions)
print(cm)

array([[ 23,  7],
       [  8, 62]])

cm[<true_category_index>, <predicted_category_index>]
cm[1, 0]

8
Валідація моделей у Python

Accuracy

Accuracy можна обчислити за головною діагоналлю матриці помилок.

Валідація моделей у Python

Precision

Precision зосереджується на спостереженнях, передбачених як 1. Із усіх передбачень «1» скільки були справжніми «1»?

Валідація моделей у Python

Recall

Recall зосереджується на спостереженнях, що насправді є «1». Скільки з них ми передбачили як «1»?

Валідація моделей у Python

Accuracy, precision, recall

from sklearn.metrics import accuracy_score, precision_score, recall_score
accuracy_score(y_test, test_predictions)

.85

precision_score(y_test, test_predictions)

.8986

recall_score(y_test, test_predictions)

.8857
Валідація моделей у Python

Час попрактикуватись

Валідація моделей у Python

Preparing Video For Download...