Metryki klasyfikacji

Walidacja modeli w Pythonie

Kasey Jones

Data Scientist

Metryki klasyfikacji

Precyzja
Czułość (inaczej: recall)
Dokładność
Swoistość
F1-Score i jego warianty
...

Metryki klasyfikacji

Precyzja
Czułość (inaczej: recall)
Dokładność
Swoistość
F1-Score i jego warianty
...

Macierz pomyłek

Macierz pomyłek to macierz 2x2 pokazująca, ile obserwacji zostało przewidzianych jako 0 lub 1 oraz ile faktycznie było 0 lub 1. Umożliwia obliczenie różnych metryk dokładności.

from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, test_predictions)
print(cm)

array([[ 23,  7],
       [  8, 62]])

cm[<true_category_index>, <predicted_category_index>]
cm[1, 0]

Dokładność

Dokładność można obliczyć, korzystając z głównej przekątnej macierzy pomyłek.

Precyzja

Precyzja skupia się na obserwacjach przewidzianych jako 1. Ile z wszystkich przewidywanych 1 rzeczywiście było 1?

Czułość

Czułość skupia się na obserwacjach rzeczywiście równych 1. Ile z tych 1 zostało przewidzianych jako 1?

Dokładność, precyzja, czułość

from sklearn.metrics import accuracy_score, precision_score, recall_score
accuracy_score(y_test, test_predictions)

.85

precision_score(y_test, test_predictions)

.8986

recall_score(y_test, test_predictions)

.8857

Czas na ćwiczenia

Walidacja modeli w Pythonie