Matricea de confuzie

Machine Learning cu caret în R

Zach Mayer

Data Scientist at DataRobot and co-author of caret

Matricea de confuzie

O matrice de confuzie cu predicție față de referință. Când predicția și referința sunt ambele "da", avem un adevărat pozitiv. Când sunt ambele "nu", avem un adevărat negativ. Când predicția este "da" și referința este "nu", avem un fals pozitiv. Când predicția este "nu" și referința este "da", avem un fals negativ.

Machine Learning cu caret în R

Matricea de confuzie

# Fit a model
model <- glm(Class ~ ., family = binomial(link = "logit"), train)
p <- predict(model, test, type = "response")
summary(p)

   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
 0.0000  0.0000  0.9885  0.5296  1.0000  1.0000 

# Turn probabilities into classes and look at their frequencies
p_class <- ifelse(p > 0.50, "M", "R")
table(p_class)
p_class

 M  R 
44 39
Machine Learning cu caret în R

Matricea de confuzie

  • Creați un tabel de frecvențe bidirecțional
  • Comparați clasele prezise cu cele reale
# Make simple 2-way frequency table
table(p_class, test[["Class"]])

p_class  M  R
      M 13 31
      R 30  9
Machine Learning cu caret în R

Matricea de confuzie

# Use caret's helper function to calculate additional statistics
confusionMatrix(p_class, test[["Class"]])

         Reference
Prediction  M  R
         M 13 31
         R 30  9

               Accuracy : 0.2651          
                 95% CI : (0.1742, 0.3734)
    No Information Rate : 0.5181          
    P-Value [Acc > NIR] : 1               

                  Kappa : -0.4731         
 Mcnemar's Test P-Value : 1               

            Sensitivity : 0.3023          
            Specificity : 0.2250          
         Pos Pred Value : 0.2955          
         Neg Pred Value : 0.2308
Machine Learning cu caret în R

Să exersăm!

Machine Learning cu caret în R

Preparing Video For Download...