ML modellerini izleme zorlukları

Machine Learning İzleme Kavramları

Hakim Elakhrass

Co-founder and CEO of NannyML

Machine Learning proje bileşenleri

Yazılım mühendisliği, veri analitiği ve Machine Learning alanlarını gösteren üç daireli bir Venn diyagramı; üçünün kesişimi veri bilimi alanını temsil eder.

Model tahmin üretemiyor

Olası sorunlar:

Dil engelleri - farklı programlama dillerini "yapıştırıcı" kodla birleştirme

Kod bakımı - güncellenen bağımlılıkların uyumluluk sorunu

Ölçekleme sorunları - daha fazla kullanıcıyı kaldıracak sağlam altyapı olmaması

Modelin tahminleri başarısız

Covariate shift

Girdinin dağılımında değişim
İstatistiksel yöntemlerle tespit edilebilir
Her kayma performansı etkilemez

Eğitim ve üretim kümelerinde müşteri yaş dağılımını karşılaştıran yoğunluk grafiği; eğitim kümesi daha düşük yaşlara kaymış. Üretim kümesi benzer ama yüksek yaşlarda bir tepe var.

Kavram sürüklenmesi (concept drift)

Girdi verisi ile hedefler arasındaki ilişkinin değişmesi
Tespit edilmesi zordur
Neredeyse her zaman modelin iş etkisini bozar

Eğitim ve üretim kümelerinde müşteri yaşam boyu değeri (CLV) ile Yaş özelliği arasında ilişki var; ancak üretimde ilişki değişiyor, bu da concept drift göstergesi.

Gerçek etiketlerin erişilebilirliği

Bir giyim mağazası görseli.

Hadi pratik yapalım!

Machine Learning İzleme Kavramları