Метрики классификации

Валидация моделей на Python

Kasey Jones

Data Scientist

Метрики классификации

  • Точность (Precision)
  • Полнота (Recall, или чувствительность)
  • Доля правильных ответов (Accuracy)
  • Специфичность (Specificity)
  • F1-Score и его вариации
  • ...
Валидация моделей на Python

Метрики классификации

  • Точность (Precision)
  • Полнота (Recall) (также называется чувствительностью)
  • Доля правильных ответов (Accuracy)
  • Специфичность (Specificity)
  • F1-Score и его вариации
  • ...
Валидация моделей на Python

Матрица ошибок

Матрица ошибок — это матрица 2×2, показывающая, сколько наблюдений было предсказано как 0 или 1 и сколько наблюдений в действительности равнялось 0 или 1. Она позволяет вычислить различные метрики качества.

Валидация моделей на Python
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, test_predictions)
print(cm)

array([[ 23,  7],
       [  8, 62]])

cm[<true_category_index>, <predicted_category_index>]
cm[1, 0]

8
Валидация моделей на Python

Доля правильных ответов (Accuracy)

Доля правильных ответов вычисляется по главной диагонали матрицы ошибок.

Валидация моделей на Python

Точность (Precision)

Точность (Precision) сосредоточена на наблюдениях, предсказанных как 1. Из всех предсказанных единиц — сколько из них действительно равнялось 1?

Валидация моделей на Python

Полнота (Recall)

Полнота (Recall) сосредоточена на наблюдениях, которые фактически равны 1. Сколько из этих единиц мы предсказали как 1?

Валидация моделей на Python

Accuracy, Precision, Recall

from sklearn.metrics import accuracy_score, precision_score, recall_score
accuracy_score(y_test, test_predictions)

.85

precision_score(y_test, test_predictions)

.8986

recall_score(y_test, test_predictions)

.8857
Валидация моделей на Python

Давайте потренируемся!

Валидация моделей на Python

Preparing Video For Download...