Évaluer les modèles de classification

Machine Learning dans le tidyverse

Dmitriy (Dima) Gorenshteyn

Lead Data Scientist, Memorial Sloan Kettering Cancer Center

Ingrédients pour mesurer la performance

1) Classes attrition réelles
2) Classes attrition prédites
3) Une métrique pour comparer 1) et 2)

Machine Learning dans le tidyverse

1) Préparer les classes réelles

attrition classe
Yes TRUE
No FALSE 
validate$Attrition

No  No  No  No  No  Yes No  Yes  ...  No  No  No

validate_actual <- validate$Attrition == "Yes"
validate_actual

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE ... FALSE FALSE FALSE
Machine Learning dans le tidyverse

2) Préparer les classes prédites

P(attrition) classe
$ \gt $ 0,5 TRUE
$ \le $ 0,5 FALSE 
validate_prob <- predict(model, validate, type = "response")
validate_prob

0.324 0.012 0.077 0.001 0.104 0.940 0.116 0.811 0.261 0.027 0.065 0.060

validate_predicted <- validate_prob > 0.5
validate_predicted

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE FALSE FALSE FALSE FALSE
Machine Learning dans le tidyverse

3) Une métrique pour comparer 1) et 2)

table(validate_actual, validate_predicted)

               validate_predicted
validate_actual FALSE TRUE
          FALSE   181    5
          TRUE     17   18
Machine Learning dans le tidyverse

3) Métrique : exactitude (accuracy)

accuracy(validate_actual, validate_predicted)

0.9004525
Machine Learning dans le tidyverse

3) Métrique : précision (precision)

precision(validate_actual, validate_predicted)

0.7826087
Machine Learning dans le tidyverse

3) Métrique : rappel (recall)

recall(validate_actual, validate_predicted)

0.5142857
Machine Learning dans le tidyverse

Passons à la pratique !

Machine Learning dans le tidyverse

Preparing Video For Download...