Performansı değerlendirme

Machine Learning'i Anlamak

Hadrien Lacroix

Content Developer at DataCamp

Değerlendirme adımı

Machine Learning'i Anlamak

Aşırı uyum (overfitting)

  • Eğitim verisinde çok iyi performans
  • Test verisinde zayıf performans
  • Model eğitim verisini ezberledi; yeni veriye genelleyemiyor
  • Model performansını kontrol etmek için test setini kullanın
Machine Learning'i Anlamak

Aşırı uyumu görselleştirme

aşırı uyum

Machine Learning'i Anlamak

Doğruluk

  • Doğruluk = doğru sınıflanan gözlemler / tüm gözlemler
  • 48 / 50 = %96

ilk dersten doğrusal sınıflandırıcı

Machine Learning'i Anlamak

Doğruluğun sınırları: dolandırıcılık örneği

$$

Bu modelin doğruluğu:

$$\frac{28\ doğru\ sınıflandırılan}{30\ toplam\ nokta}=%%93{.}33$$

  • Sahtekarlık işlemlerinin çoğunu kaçırır
  • Daha iyi bir ölçüte ihtiyaç var
Machine Learning'i Anlamak

Karmaşıklık matrisi

karmaşıklık matrisi

Machine Learning'i Anlamak

Doğru pozitifler

Machine Learning'i Anlamak

Doğru pozitifler

Machine Learning'i Anlamak

Yanlış negatifler

Machine Learning'i Anlamak

Yanlış negatifler

Machine Learning'i Anlamak

Yanlış Negatifleri hatırlama

fp.jpg

Machine Learning'i Anlamak

Kalanı doldurun...

Machine Learning'i Anlamak

Yanlış pozitifler, doğru negatifler

Machine Learning'i Anlamak

Yanlış Pozitifleri hatırlama

fn2.jpg

Machine Learning'i Anlamak

Duyarlılık

Kaç sahtekarlık işlemini doğru sınıflandırdık?

$$Duyarlılık = \frac{doğru\ pozitifler}{doğru\ pozitifler + yanlış\ negatifler} =1/3=%%33{.}33 $$

  • Sahte işlemi onaylamaktansa meşru işlemleri şüpheli işaretlemeyi tercih edin
Machine Learning'i Anlamak

Özgüllük

$$Özgüllük = \frac{doğru\ negatifler}{doğru\ negatifler + yanlış\ pozitifler}$$

Spam filtresi:

  • Gerçek e-postaları spam klasörüne atmak yerine spamlara gelen kutusunda yer vermeyi tercih eder
Machine Learning'i Anlamak

Regresyonu değerlendirme

Machine Learning'i Anlamak

Regresyonu değerlendirme

  • Hata = nokta (gerçek değer) ile çizgi (tahmin) arasındaki mesafe
  • Bunu hesaplamanın birçok yolu var; ör. kök ortalama kare hata
Machine Learning'i Anlamak

Denetimsiz öğrenme

kendi maceranı seç

1 https://www.flickr.com/photos/micahdowty/8540188997
Machine Learning'i Anlamak

Haydi pratik yapalım!

Machine Learning'i Anlamak

Preparing Video For Download...