Risiko machine learning

Machine Learning untuk Bisnis

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Kinerja buruk

Beberapa model berkinerja buruk (pastikan meninjau kinerja uji, bukan latih):

Presisi rendah
Recall rendah
Galat besar

Presisi rendah

Presisi rendah — banyak item salah klasifikasi pada kelas yang diminati = banyak positif palsu

Contoh — hanya 10% pelanggan yang diidentifikasi akan membeli benar-benar membeli produk

Recall rendah

Recall rendah — hanya sebagian kecil dari semua observasi dalam kelas yang berhasil ditangkap (di-recall) oleh model

Contoh — hanya 25% dari semua transaksi curang teridentifikasi oleh model

Galat besar

Galat besar — selisih besar antara nilai prediksi dan aktual

Contoh — galat rata-rata untuk prediksi rating kepuasan pelanggan adalah 3,5 unit atau 70 poin persentase

Kasus penggunaan model non-aksi

T: Bagaimana menguji model dengan benar?

J: Jalankan uji/eksperimen untuk memvalidasi kinerjanya, mis. email pencegahan churn, promosi produk, pemeliharaan mesin manual, tinjauan transaksi manual

Pengujian A/B

uji A/B

Bagaimana jika uji tidak berhasil?

Kumpulkan lebih banyak data — bisnis harus terlibat
Bangun model kausal untuk memahami pendorong
Lakukan riset kualitatif (survei, dll.)
Ubah ruang lingkup masalah
- Persempit
- Perluas
- Pertanyaan berbeda

Ayo berlatih!

Machine Learning untuk Bisnis