ความน่าจะเป็นของคลาสและการทำนาย

Machine Learning ด้วย caret ใน R

Zach Mayer

Data Scientist at DataRobot and co-author of caret

Threshold ที่แตกต่างกัน

ไม่จำกัดที่ threshold 50%
- 10% จะตรวจพบทุ่นระเบิดได้มากขึ้นแต่แม่นยำน้อยลง
- 90% จะตรวจพบน้อยลงแต่แม่นยำมากขึ้น
สร้างสมดุลระหว่างอัตรา true positive และ false positive
วิเคราะห์ต้นทุน-ผลประโยชน์

Confusion matrix

# Use a larger cutoff
p_class <- ifelse(p > 0.99, "M", "R")
table(p_class)

p_class
 M  R 
41 42

# Make simple 2-way frequency table
table(p_class, test[["Class"]])

p_class  M  R
      M 13 28
      R 30 12

Confusion matrix ด้วย caret

# Use caret to produce confusion matrix
confusionMatrix(p_class, test[["Class"]])

          Reference
Prediction  M  R
         M 13 28
         R 30 12

               Accuracy : 0.3012          
                 95% CI : (0.2053, 0.4118)
    No Information Rate : 0.5181          
    P-Value [Acc > NIR] : 1.0000          

                  Kappa : -0.397          
 Mcnemar's Test P-Value : 0.8955          

            Sensitivity : 0.3023          
            Specificity : 0.3000          
         Pos Pred Value : 0.3171          
         Neg Pred Value : 0.2857

มาฝึกกันเถอะ!

Machine Learning ด้วย caret ใน R