Mengevaluasi kinerja

Memahami Machine Learning

Hadrien Lacroix

Content Developer at DataCamp

Langkah evaluasi

Memahami Machine Learning

Overfitting

  • Sangat baik pada data pelatihan
  • Buruk pada data pengujian
  • Model menghafal data pelatihan dan tidak dapat menggeneralisasi ke data baru
  • Gunakan set pengujian untuk mengecek kinerja model
Memahami Machine Learning

Ilustrasi overfitting

overfitting

Memahami Machine Learning

Akurasi

  • Akurasi = observasi yang diklasifikasi benar / semua observasi
  • 48 / 50 = 96%

linear classifier from first lesson

Memahami Machine Learning

Batas akurasi: contoh penipuan

$$

Akurasi model ini:

$$\frac{28\ correctly\ classified}{30\ total\ points}=93.33\%$$

  • Gagal menangkap sebagian besar transaksi penipuan
  • Perlu metrik yang lebih baik
Memahami Machine Learning

Confusion matrix

confusion matrix

Memahami Machine Learning

True positive

Memahami Machine Learning

True positive

Memahami Machine Learning

False negative

Memahami Machine Learning

False negative

Memahami Machine Learning

Mengingat False Negative

fp.jpg

Memahami Machine Learning

Lengkapi sisanya...

Memahami Machine Learning

False positive, true negative

Memahami Machine Learning

Mengingat False Positive

fn2.jpg

Memahami Machine Learning

Sensitivitas

Berapa banyak transaksi penipuan yang kita klasifikasikan dengan benar?

$$Sensitivity = \frac{true\ positives}{true\ positives + false\ negatives} =1/3=33.33\% $$

  • Lebih baik menandai transaksi sah sebagai mencurigakan daripada mengizinkan transaksi penipuan
Memahami Machine Learning

Spesifisitas

$$Specificity = \frac{true\ negatives}{true\ negatives + false\ positives}$$

Filter spam:

  • Lebih baik mengirim spam ke inbox daripada mengirim email asli ke folder spam
Memahami Machine Learning

Evaluasi regresi

Memahami Machine Learning

Evaluasi regresi

  • Error = jarak antara titik (nilai aktual) dan garis (nilai prediksi)
  • Banyak cara menghitungnya, mis. root mean square error
Memahami Machine Learning

Pembelajaran tanpa supervisi

pilih petualangan Anda

1 https://www.flickr.com/photos/micahdowty/8540188997
Memahami Machine Learning

Ayo berlatih!

Memahami Machine Learning

Preparing Video For Download...