Utvärdera klassificeringsmodeller

Maskininlärning med Tidyverse

Dmitriy (Dima) Gorenshteyn

Lead Data Scientist, Memorial Sloan Kettering Cancer Center

Ingredienser för prestandamätning

1) Faktiska attrition-klasser
2) Förutsagda attrition-klasser
3) Ett mått för att jämföra 1) & 2)

attrition	klass
Yes	TRUE
No	FALSE

validate$Attrition

No  No  No  No  No  Yes No  Yes  ...  No  No  No

validate_actual <- validate$Attrition == "Yes"
validate_actual

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE ... FALSE FALSE FALSE

P(attrition)	klass
$ \gt $ 0.5	TRUE
$ \le $ 0.5	FALSE

validate_prob <- predict(model, validate, type = "response")
validate_prob

0.324 0.012 0.077 0.001 0.104 0.940 0.116 0.811 0.261 0.027 0.065 0.060

validate_predicted <- validate_prob > 0.5
validate_predicted

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE FALSE FALSE FALSE FALSE

table(validate_actual, validate_predicted)

               validate_predicted
validate_actual FALSE TRUE
          FALSE   181    5
          TRUE     17   18

accuracy(validate_actual, validate_predicted)

0.9004525

precision(validate_actual, validate_predicted)

0.7826087

recall(validate_actual, validate_predicted)

0.5142857

Maskininlärning med Tidyverse