Makine öğrenimi riskleri

İş Dünyası için Machine Learning

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Zayıf performans

Bazı modeller zayıf performans gösterir (mutlaka eğitim değil, test performansını inceleyin):

  • Düşük precision

  • Düşük recall

  • Büyük hata

İş Dünyası için Machine Learning

Düşük precision

Düşük precision – ilgili sınıfta çok sayıda yanlış sınıflandırma = çok sayıda false positive

Örnek – Satın alma eğilimli olarak belirlenen müşterilerin yalnızca %10’u gerçekten satın aldı

İş Dünyası için Machine Learning

Düşük recall

Düşük recall – sınıftaki gözlemlerin yalnızca küçük bir kısmı model tarafından doğru yakalandı (hatırlandı)

Örnek – Sahtekâr işlemlerin yalnızca %25’i modelce tespit edildi

İş Dünyası için Machine Learning

Büyük hata

Büyük hata – tahmin ile gerçek değerler arasında büyük farklar

Örnek – Müşteri memnuniyeti puanı tahmininde ortalama hata 3,5 birim veya yüzde puanı olarak %70

İş Dünyası için Machine Learning

Eyleme dönük olmayan model kullanım durumları

S: Modeller doğru nasıl test edilir?

C: Performansı doğrulamak için test/deneyler yapın; örn. churn önleme e-postaları, ürün promosyonları, manuel makine bakımı, manuel işlem incelemesi

İş Dünyası için Machine Learning

A/B testleri

abtest

İş Dünyası için Machine Learning

Testler işe yaramazsa ne olur?

  • Daha fazla veri edinin – iş birimi sürece dahil olmalı
  • Etkenleri anlamak için nedensel modeller kurun
  • Nitel araştırma yapın (anket vb.)
  • Problemin kapsamını değiştirin
    • Daraltın
    • Genişletin
    • Farklı bir soru sorun
İş Dünyası için Machine Learning

Hadi pratik yapalım!

İş Dünyası için Machine Learning

Preparing Video For Download...