Sınıf olasılıkları ve tahminler

R ile caret kullanarak Machine Learning

Zach Mayer

Data Scientist at DataRobot and co-author of caret

Farklı eşikler

%50 eşiğine bağlı değildir
- %10 daha fazla mayını yakalar, belirsizlik artar
- %90 daha az mayını yakalar, kesinlik artar
Doğru pozitif ve yanlış pozitif oranlarını dengeleyin
Maliyet-fayda analizi

Karmaşıklık matrisi

# Use a larger cutoff
p_class <- ifelse(p > 0.99, "M", "R")
table(p_class)

p_class
 M  R 
41 42

# Make simple 2-way frequency table
table(p_class, test[["Class"]])

p_class  M  R
      M 13 28
      R 30 12

caret ile karmaşıklık matrisi

# Use caret to produce confusion matrix
confusionMatrix(p_class, test[["Class"]])

          Referans
Tahmin     M  R
        M 13 28
        R 30 12

              Doğruluk : 0.3012           
                 %95 GA : (0.2053, 0.4118)
  Bilgi Yok Oranı (NIR) : 0.5181           
   P-Değeri [Acc > NIR] : 1.0000           

                Kappa : -0.397            
 McNemar Testi P-Değeri : 0.8955           

          Duyarlılık : 0.3023             
          Özgüllük   : 0.3000             
   Poz Tahmin Değeri : 0.3171             
   Neg Tahmin Değeri : 0.2857

Hadi pratik yapalım!

R ile caret kullanarak Machine Learning