Model performans ölçümü

İş Dünyası için Machine Learning

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Performans ölçüm türleri

İki temel gözetimli öğrenme metriği:

Doğruluk --> sınıflandırma
Hata --> regresyon

Sınıflandırma performansı

Doğruluk
Duyarlılık (Recall)
Kesinlik (Precision)

Churn örneği

Churn tahmini

Yanlış sınıflandırılanlar

Başka bir churn tahmini

Doğruluk

acc

Kesinlik (Precision)

precision

Duyarlılık (Recall)

recall

Regresyon performansı

Hata

Regresyon örneği

Geliri bir çizgiyle tahmin etme

Regresyon hatası

Doğrusal olmayan modelleri test etme

Hata iyileştirmeleri

Uygulanabilir modeller - A/B testi

İyi modeller her zaman uygulanabilir değildir:

Churn tahmini, satın alma tahmini, makine arıza tahmini

Modelleri kullanmak sonuçları iyileştiriyor mu, test edin:

Teşviklerle (indirim, kupon, promosyon) churn edeceği tahmin edilen müşterileri hedefleyin

Satın alma olasılığı yüksek müşterilere hatırlatma e-postaları ve ürün bilgileri gönderin

Bu, churn’ü azalttı mı, satın alma oranını artırdı mı ve arızaları düşürdü mü? Evetse, otomasyona alın. Hayırsa, daha fazla veri toplayın, modelleri iyileştirin ve yeniden test edin.

Ayo berlatih!

İş Dünyası için Machine Learning