İdeal izleme iş akışı

Machine Learning İzleme Kavramları

Hakim Elakhrass

Co-founder and CEO of NannyML

İzleme iş akışları

Geleneksel izleme iş akışı

Teknik performansı hesapla
Girdi verisindeki kaymalara göre uyar
Çok sayıda hatalı uyarı üretir

İdeal izleme iş akışı

Teknik performans izlemesi
- Performansı hesapla ve tahmin et
Kök neden analizi
- Kaymaları performans düşüşleriyle ilişkilendirmeni sağlar

İdeal izleme iş akışı: ilk adım performans izlemesi. Performans düşerse kök neden analizi yapılır ve son olarak sorun çözümü gerçekleşir.

Performansı izleme

Şunları içerir:

Teknik metrikler (ör. doğruluk) için performans hesaplama

Gerçek değer yoksa performans tahmini

İş etkisini ölçme - temel performans göstergelerini izle

Zaman içinde doğruluğu gösteren grafik; doğruluk düşüyor ve eşiğin altına iniyor.

Zamana göre KPI grafiği; KPI'lar belirtilen eşikler içinde kalıyor.

Kök Neden Analizi

Amaç şunları araştırmaktır:

Kovaryat kayması - girdi veri dağılımındaki kaymalar

Kavram kayması - özellikler ile hedefler arasındaki ilişkinin değişmesi

Çalışan bir model için mavi ve kırmızı daireler arasındaki karar sınırını gösteren grafik.

Mavi dairelerin karar sınırını aşarak kaydığını, yani kovaryat kaymasını gösteren grafik.

Karar sınırının değişimini, yani kavram kaymasını gösteren grafik.

Sorun çözümü

Olası çözümler:

Yeniden eğitme - ek veri ve hesaplama gerekir

Kullanım senaryosunu yeniden tasarlama - bir adım geri atıp yöntemleri yeniden düşün

Aşağı akış süreçlerini değiştirme - tahmin etrafındaki süreçleri düzenle

Makine öğrenimi modelini temsil eden dijital bir beyin ve bir artı işaretiyle veritabanına bağlı, daha fazla veriyle yeniden eğitmeyi gösteren görsel.

Özellik mühendisliği, kullanılan özellikler ve doğrusal regresyonla ilgili soruların yer aldığı bir çizim tahtası.

Bir çalışanın bilgisayarda elle bir şeyi doğruladığını gösteren görsel.

Hadi pratik yapalım!

Machine Learning İzleme Kavramları