Metrik klasifikasi

Validasi Model di Python

Kasey Jones

Data Scientist

Metrik klasifikasi

  • Precision
  • Recall (juga disebut sensitivitas)
  • Akurasi
  • Spesifisitas
  • F1-Score, dan variannya
  • ...
Validasi Model di Python

Metrik klasifikasi

  • Precision
  • Recall (juga disebut sensitivitas)
  • Akurasi
  • Spesifisitas
  • F1-Score, dan variannya
  • ...
Validasi Model di Python

Confusion matrix

Confusion matrix adalah matriks 2x2 yang menunjukkan berapa banyak observasi diprediksi 0 atau 1, dan berapa banyak yang sebenarnya 0 atau 1. Dapat digunakan untuk menghitung berbagai metrik akurasi.

Validasi Model di Python
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, test_predictions)
print(cm)

array([[ 23,  7],
       [  8, 62]])

cm[<true_category_index>, <predicted_category_index>]
cm[1, 0]

8
Validasi Model di Python

Akurasi

Akurasi dapat dihitung dari diagonal utama confusion matrix.

Validasi Model di Python

Precision

Precision berfokus pada observasi yang diprediksi 1. Dari semua prediksi 1, berapa banyak yang benar-benar 1?

Validasi Model di Python

Recall

Recall berfokus pada observasi yang sebenarnya 1. Dari semua 1 sebenarnya, berapa banyak yang kita prediksi sebagai 1?

Validasi Model di Python

Akurasi, precision, recall

from sklearn.metrics import accuracy_score, precision_score, recall_score
accuracy_score(y_test, test_predictions)

.85

precision_score(y_test, test_predictions)

.8986

recall_score(y_test, test_predictions)

.8857
Validasi Model di Python

Ayo berlatih!

Validasi Model di Python

Preparing Video For Download...