Teknik performansı doğrudan izleme

Machine Learning İzleme Kavramları

Hakim Elakhrass

Co-founder and CEO of NannyML

Kovaryat kayması - performans ilişkisi

Üç kovaryat kayması:

Belirli bölgelere kayma
- daha çok yüksek gelirli kişi krediye başvuruyor
Az temsil edilen bölgelere kayma
- eğitim verisindeki %0,5 yerine %10 teknoloji çalışanı krediye başvuruyor
Belirsiz bölgelere kayma
- karar sınırına yakın orta gelirli oranının %20'den %40'a çıkması

-> Etki yok

-> Etkisi bilinmiyor

-> Olumsuz etki

Garantili olumsuz etki

Belirsiz bölgelere kovaryat kayması performansı her zaman olumsuz etkiler

Görselleştirme, eğitim döneminde modelin en az emin olduğu bölgeyi vurguluyor. Ancak üretimde, artık bu bölgede daha çok kişi var.

Yanlış uyarılar sorunu

Görsel, uyarıları temsil eden noktaları ve çok fazla nokta olduğunda önemli olanların nasıl kaybolabildiğini gösteriyor

Teknik performansın önemi

Modelin eldeki görevi ne kadar iyi yaptığının doğrudan metriği

Her türlü sessiz model arızasını yansıtır

Yanlış uyarı yükünü azaltır

Görsel, izleme diyagramının bir bölümünü gösteriyor. İlk kutuda performans izleme; altında kesikli çizgiyle bağlanıp kesikli bir kutuda "model hâlâ iyi perform ediyor mu" sorusu; sağda bir elmas "performance degradation" gösteriyor; sağa ok üzerinde "yes" ve performans izleme kutusuna geri dönen bir ok üzerinde "no" yazıyor.

Hadi pratik yapalım!

Machine Learning İzleme Kavramları