Performans tahmini

Machine Learning İzleme Kavramları

Hakim Elakhrass

Co-founder and CEO of NannyML

Genel bakış

İki performans tahmin algoritması:

  • CBPE - sınıflandırma görevleri
  • DLE - regresyon görevleri
Machine Learning İzleme Kavramları

CBPE - Nasıl çalışır

  • Bir karışıklık matrisi tahmin eder

 

  • Doğruluk, kesinlik, duyarlılık gibi sınıflandırma metriklerini hesaplamanı sağlar

 

  • Değişken kaymasının model üzerindeki etkisini yakalar

 

CBPE algoritması nasıl çalıştığını gösteren bir görselle açıklanıyor. İlk model, verilen örnek için bir tahmin yapar ve bu tahmine göre sınıf belirlenir. Örneğin, model bir örnek için 0.9 tahmin ederse, değer 0.5'in üstünde olduğundan sınıf pozitiftir. Aksi halde, değer 0.5'in altındaysa sınıf negatiftir. Bu süreç veri kümesindeki tüm örnekler için yürütülür ve ortaya çıkan güven skorları birleştirilerek tahmini bir karışıklık matrisi üretilir.

Machine Learning İzleme Kavramları

CBPE - Dikkat edilmesi gerekenler

  • Görülmeyen bölgelerde değişken kayması yoktur

 

  • Gelen veride kavram kayması yoktur

 

  • Olasılık kalibrasyonu gerekir
Machine Learning İzleme Kavramları

DLE - Nasıl çalışır

  • Modelin mutlak hatasını tahmin eder

 

  • Harici bir alt model kullanır

 

  • MAE, MSE, MSLE gibi çeşitli regresyon metriklerini hesaplamanı sağlar

 

  • Girdi verisindeki değişken kaymasını yakalar

Görsel, üretimde bir regresyon görevi için performans tahmini sürecini anlatır. Önce analiz verisi modele verilir ve tahminler üretilir. Bu tahminler, analiz verisiyle birlikte alt modele aktarılır ve alt model hata tahmini yapar. Bu hata tahmini kullanılarak modelin performansını değerlendirmek için diğer regresyon metrikleri hesaplanır.

Machine Learning İzleme Kavramları

DLE - Dikkat edilmesi gerekenler

  • Görülmeyen bölgelerde değişken kayması yoktur

 

  • Gelen veride kavram kayması yoktur

 

  • Ek karmaşıklık
Machine Learning İzleme Kavramları

Hadi pratik yapalım!

Machine Learning İzleme Kavramları

Preparing Video For Download...