Pengukuran kinerja model

Machine Learning untuk Bisnis

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Jenis pengukuran kinerja

Dua metrik utama pembelajaran terawasi:

  1. Akurasi --> klasifikasi
  2. Error --> regresi
Machine Learning untuk Bisnis

Kinerja klasifikasi

  • Akurasi

  • Recall

  • Presisi

Machine Learning untuk Bisnis

Contoh churn

c1

Machine Learning untuk Bisnis

Contoh churn

c2

Machine Learning untuk Bisnis

Prediksi churn

c3

Machine Learning untuk Bisnis

Item salah klasifikasi

c4

Machine Learning untuk Bisnis

Prediksi churn lainnya

c5

Machine Learning untuk Bisnis

Akurasi

acc

Machine Learning untuk Bisnis

Presisi

precision

Machine Learning untuk Bisnis

Recall

recall

Machine Learning untuk Bisnis

Kinerja regresi

  • Error
Machine Learning untuk Bisnis

Contoh regresi

r1

Machine Learning untuk Bisnis

Memprediksi pendapatan dengan garis

r2

Machine Learning untuk Bisnis

Error regresi

r3

Machine Learning untuk Bisnis

Menguji model non-linear

r4

Machine Learning untuk Bisnis

Perbaikan error

r5

Machine Learning untuk Bisnis

Model yang dapat ditindaklanjuti - Uji A/B

Model yang baik tidak selalu dapat ditindaklanjuti:

Prediksi churn, prediksi pembelian, prediksi kegagalan mesin

Uji apakah penggunaan model meningkatkan hasil:

Targetkan pelanggan yang diprediksi churn dengan insentif (diskon, kupon, promo)

Kirim email pengingat dan detail produk ke pelanggan yang kemungkinan membeli

Apakah ini menurunkan churn, menaikkan tingkat pembelian, dan mengurangi kegagalan mesin? Jika ya, bangun ke proses otomatis. Jika tidak, kumpulkan data lagi, perbaiki model, dan uji ulang.

Machine Learning untuk Bisnis

Ayo berlatih!

Machine Learning untuk Bisnis

Preparing Video For Download...