Performansı izleme

Karar Bilimini Anlama

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Model performansı

Farklı modeller, farklı güçlü yönler

  • Bir model temerrüde yatkın olanları belirlemede daha iyidir
  • Diğeri temerrüt miktarını tahmin etmede daha iyidir

  terazi.png

Hangi model daha iyi? Hedefe bağlıdır

  • Riskli müşterileri işaretlemek mi daha önemli
  • Yoksa temerrüdün finansal etkisini tahmin etmek mi
Karar Bilimini Anlama

Model metrikleri

Farklı metrikler performansın farklı yönlerini aydınlatır

Yaygın değerlendirme metrikleri:

  • Doğruluk (Accuracy)
  • Kesinlik (Precision)
  • Duyarlılık (Recall)
  • F1-Skoru
  • Eğri Altındaki Alan (AUC)
  • Ortalama Mutlak Hata (MAE)
  • Ortalama Mutlak Yüzde Hatası (MAPE)

  pano.png

Karar Bilimini Anlama

Doğruluk

 

Genel doğruluk görünümü

  • Modelin doğru tahmin ettiği örneklerin yüzdesini ölçer
  • Sınıflar dengeliyken iyi çalışır; spam ve spam değil gibi

dogruluk.png

Kesinlik

 

Pozitif tahminlerin ne kadarı gerçekten doğru

  • Yanlış pozitiflerin maliyeti yüksekse kritiktir
  • Düşük kesinlik = birçok meşru işlemi sahte olarak işaretlemek

kesinlik.png

Karar Bilimini Anlama

Daha fazla metrik

Hatırlatma: gerçek pozitifleri yakalayın

  • Modelin gerçek pozitifleri bulma başarısını ölçer
  • Bir vakayı kaçırmanın maliyeti yüksekse önemlidir (örn. dolandırıcılık, hastalık)

Eğri altındaki alan (AUC): sınıf ayrımı ölçüsü

  • Modelin sınıfları ne kadar ayırdığını değerlendirir
  • Belirli bir eşik değerine bağlı değildir

Regresyon metrikleri: tahmin hatasını ölçme

  • Ortalama Mutlak Hata (MAE): tahmin hatalarının ortalama büyüklüğü
  • Ortalama Yüzde Hatası (MPE): tahminlerin yüzde olarak sapması

 

daha_fazla_metrik.png

Karar Bilimini Anlama

Panolar kritiktir

Panolar, karmaşık analizleri net ve uygulanabilir içgörülere dönüştürür; karar almayı kolaylaştırır.

 

pano2.gif

Karar Bilimini Anlama

Temel ilkeler

 

Hedef kitlenizi bilin

  • Yöneticiler özet ister
  • Analistler ayrıntı ister

 

Temel metrikleri vurgulayın

  • Sadece en önemli olanları gösterin
  • Kalabalık ve gürültüden kaçının

 

Açık görselleştirmeler kullanın

  • Karşılaştırmalar için çubuk grafikleri, zaman trendleri için çizgi grafikleri
  • Basit görseller genellikle en iyisidir

  acik.png

Karar Bilimini Anlama

Diğer ilkeler

Zaman içindeki değişimi izleyin

  • Model performansını ve özellik kaymasını takip edin
  • Trendler metriklere bağlam katar

Sadece sayı değil, bağlam ekleyin

  • Önemli değişimleri kısa notlarla açıklayın
  • Kullanıcıların ne olduğunu ve nedenini anlamasına yardım edin

Test edin ve yineleyin

  • Erken paylaşın, geri bildirim toplayın
  • Modeller ve ihtiyaçlar değiştikçe panoları güncelleyin

yinelen.png

Karar Bilimini Anlama

Haydi pratik yapalım!

Karar Bilimini Anlama

Preparing Video For Download...