Prédire et évaluer

Machine Learning avec des modèles arborescents en R

Sandro Raabe

Data Scientist

Prédire sur de nouvelles données

Appel général :
predict(model, new_data, type)
Arguments :
  1. Modèle entraîné
  2. Ensemble de données à prédire
  3. Type de prédiction : étiquettes ou probabilités
Machine Learning avec des modèles arborescents en R

Prédire sur de nouvelles données

predict(model, new_data = test_data, 
               type = "class")

  .pred_class
  <fct>      
1 no         
2 no         
3 yes        
4 no

predict(model, new_data = test_data, 
               type = "prob")

     .pred_no  .pred_yes
     <dbl>     <dbl>
1    0.866     0.134
2    0.956     0.044
3    0.672     0.328
4    0.877     0.123
Machine Learning avec des modèles arborescents en R

Matrice de confusion

matrice_de_confusion_1

  • Indique à quel point le modèle se trompe
Machine Learning avec des modèles arborescents en R

Matrice de confusion

matrice_de_confusion_2

Machine Learning avec des modèles arborescents en R

Matrice de confusion

matrice_de_confusion_3

Machine Learning avec des modèles arborescents en R

Matrice de confusion

matrice_de_confusion_4

  • Diagonale : prédictions justes
  • Hors diagonale : prédictions fausses
Machine Learning avec des modèles arborescents en R

Matrice de confusion

 

  • TP : prédiction yes, vérité yes
  • TN : prédiction no, vérité no
  • FP : prédiction yes, vérité no
  • FN : prédiction no, vérité yes

matrice_de_confusion_4

Machine Learning avec des modèles arborescents en R

Créer la matrice de confusion

# Combiner les prédictions et les valeurs réelles
pred_combined <- predictions %>% 
   mutate(true_class = test_data$outcome)

pred_combined

  .pred_class  true_class
  <fct>        <fct>     
1 no           no        
2 no           yes       
3 no           no        
4 yes          yes

# Calculer la matrice de confusion
conf_mat(data = pred_combined,

         estimate = .pred_class,

         truth = true_class)


             Truth
Prediction    no   yes
        no   116    31
       yes    12    40
Machine Learning avec des modèles arborescents en R

Exactitude

  $$\text{accuracy} = \frac{\text{n of correct predictions}}{\text{n of total predictions}}$$

  • Nom de fonction : accuracy()
  • Mêmes arguments que conf_mat()
    • data, estimate et truth
    • Structure commune dans yardstick
accuracy(pred_combined,
         estimate = .pred_class,
         truth = true_class)

  .metric     .estimate
  <chr>           <dbl>
1 accuracy        0.708
Machine Learning avec des modèles arborescents en R

Évaluons !

Machine Learning avec des modèles arborescents en R

Preparing Video For Download...