Klassificeringsmått

Modellvalidering i Python

Kasey Jones

Data Scientist

Klassificeringsmått

  • Precision
  • Recall (kallas även sensitivitet)
  • Accuracy
  • Specificitet
  • F1-Score och varianter
  • ...
Modellvalidering i Python

Klassificeringsmått

  • Precision
  • Recall (kallas även sensitivitet)
  • Accuracy
  • Specificitet
  • F1-Score och varianter
  • ...
Modellvalidering i Python

Konfusionsmatris

En konfusionsmatris är en 2x2-matris som visar hur många observationer som predikterades till 0 eller 1, och hur många som faktiskt var 0 eller 1. Den kan användas för att beräkna olika typer av noggrannhetsmått.

Modellvalidering i Python
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, test_predictions)
print(cm)

array([[ 23,  7],
       [  8, 62]])

cm[<true_category_index>, <predicted_category_index>]
cm[1, 0]

8
Modellvalidering i Python

Accuracy

Accuracy kan beräknas med hjälp av huvuddiagonalen i konfusionsmatrisen.

Modellvalidering i Python

Precision

Precision fokuserar på de observationer som predikterades till 1. Av alla prediktioner som var 1, hur många av dem var faktiskt 1?

Modellvalidering i Python

Recall

Recall fokuserar på de observationer som faktiskt var 1. Hur många av dessa 1:or predikterade vi som 1?

Modellvalidering i Python

Accuracy, precision, recall

from sklearn.metrics import accuracy_score, precision_score, recall_score
accuracy_score(y_test, test_predictions)

.85

precision_score(y_test, test_predictions)

.8986

recall_score(y_test, test_predictions)

.8857
Modellvalidering i Python

Nu kör vi en övning!

Modellvalidering i Python

Preparing Video For Download...