Altre metriche del modello

Machine Learning con modelli ad albero in R

Sandro Raabe

Data Scientist

Limiti dell'accuracy

Un modello “naive” che predice sempre no può avere il 98% di accuracy

$\rightarrow$ Possibile con dataset sbilanciato con 98% di negativi

Sensibilità o tasso di veri positivi

Quota di positivi correttamente classificati

matrice di confusione con sensibilità

Specificità o tasso di veri negativi

Quota di negativi correttamente classificati

matrice di confusione con tasso di veri negativi

tabella con soglie diverse

Curva ROC (Receiver Operating Characteristic)

Visualizza le prestazioni di un classificatore su tutte le soglie possibili

grafico curva ROC

Curva ROC e AUC

curve ROC diverse

Area sotto la curva ROC

grafico AUC

AUC = 0,5
Prestazioni non migliori del caso

AUC = 1
Tutti gli esempi corretti a ogni soglia $\rightarrow$ modello perfetto

AUC = 0
Tutti gli esempi classificati in modo errato

sensibilità con yardstick: sens()

predictions

# A tibble: 153 x 2
.pred_class   true_class
      <fct>        <fct>     
 1      yes           no        
 2       no           no        
 3       no          yes       
 4      yes          yes

# Calculate single-threshold sensitivity
sens(predictions, 
     estimate = .pred_class, 
     truth = true_class)

# A tibble: 1 x 2
  .metric        .estimate
  <chr>              <dbl>
1 sensitivity        0.872

Argomenti simili a accuracy() e conf_mat()

ROC con yardstick: roc_curve()

# Predict probabilities on test set
predictions <- predict(model,
                       data_test,

                       type = "prob") %>%

        bind_cols(data_test)

# A tibble: 9,116 x 13
   .pred_yes still_customer age gender    ...
       <dbl> <fct>         <int> <fct>    ...
 1    0.0557 no               45 M        ...
 2    0.0625 no               49 F        ...
 3    0.330  no               51 M        ...
 4    ...
 ...

# Calculate the ROC curve for all thresholds
roc <- roc_curve(predictions,

                 estimate = .pred_yes,

                 truth = still_customer)

# Plot the ROC curve
autoplot(roc)

curva ROC

AUC con yardstick: roc_auc()

Stessi argomenti: dati, colonna predizione, colonna verità

# Calculate area under curve
roc_auc(predictions, 
        estimate = .pred_yes, 
        truth = still_customer)

# A tibble: 1 x 3
  .metric .estimator .estimate
  <chr>   <chr>          <dbl>
1 roc_auc binary         0.872

Misuriamo!

Machine Learning con modelli ad albero in R