Autres mesures de modèle

Machine Learning avec des modèles à base d’arbres en R

Sandro Raabe

Data Scientist

Limites de la précision

 

  • Un modèle « naïf » prédisant toujours no peut atteindre 98 % de précision

$\rightarrow$ Possible sur un jeu déséquilibré avec 98 % d'exemples négatifs

Machine Learning avec des modèles à base d’arbres en R

Sensibilité ou taux de vrais positifs

  • Part des résultats positifs correctement classés

matrice de confusion montrant la sensibilité

Machine Learning avec des modèles à base d’arbres en R

Spécificité ou taux de vrais négatifs

  • Part des résultats négatifs correctement classés

matrice de confusion montrant le taux de vrais négatifs

Machine Learning avec des modèles à base d’arbres en R

tableau montrant différents seuils

Machine Learning avec des modèles à base d’arbres en R

Courbe ROC (Receiver Operating Characteristic)

  • Visualise les performances d'un classifieur pour tous les seuils possibles

courbe ROC

Machine Learning avec des modèles à base d’arbres en R

Courbe ROC et AUC

différentes courbes ROC

Machine Learning avec des modèles à base d’arbres en R

Aire sous la courbe ROC

tracé de l'AUC

  • AUC = 0,5
  • Performance pas meilleure que le hasard

 

  • AUC = 1
  • Tous les exemples bien classés à chaque seuil $\rightarrow$ modèle parfait

 

  • AUC = 0
  • Tous les exemples mal classés
Machine Learning avec des modèles à base d’arbres en R

yardstick sensibilité : sens()

predictions

# A tibble: 153 x 2
.pred_class   true_class
      <fct>        <fct>     
 1      yes           no        
 2       no           no        
 3       no          yes       
 4      yes          yes

# Calculate single-threshold sensitivity
sens(predictions, 
     estimate = .pred_class, 
     truth = true_class)

# A tibble: 1 x 2
  .metric        .estimate
  <chr>              <dbl>
1 sensitivity        0.872
  • Arguments similaires à accuracy() et conf_mat()
Machine Learning avec des modèles à base d’arbres en R

yardstick ROC : roc_curve()

# Predict probabilities on test set
predictions <- predict(model,
                       data_test,

                       type = "prob") %>%

        bind_cols(data_test)

# A tibble: 9,116 x 13
   .pred_yes still_customer age gender    ...
       <dbl> <fct>         <int> <fct>    ...
 1    0.0557 no               45 M        ...
 2    0.0625 no               49 F        ...
 3    0.330  no               51 M        ...
 4    ...
 ...

# Calculate the ROC curve for all thresholds
roc <- roc_curve(predictions,

                 estimate = .pred_yes,

                 truth = still_customer)

# Plot the ROC curve
autoplot(roc)

courbe roc

Machine Learning avec des modèles à base d’arbres en R

yardstick AUC : roc_auc()

  • Mêmes arguments : données, colonne de prédiction, colonne de vérité
# Calculate area under curve
roc_auc(predictions, 
        estimate = .pred_yes, 
        truth = still_customer)

# A tibble: 1 x 3
  .metric .estimator .estimate
  <chr>   <chr>          <dbl>
1 roc_auc binary         0.872
Machine Learning avec des modèles à base d’arbres en R

Mesurons !

Machine Learning avec des modèles à base d’arbres en R

Preparing Video For Download...