分類模型評估

Tidyverse 的 Machine Learning

Dmitriy (Dima) Gorenshteyn

Lead Data Scientist, Memorial Sloan Kettering Cancer Center

效能量測要素

1）實際的 attrition 類別
2）預測的 attrition 類別
3）用來比較 1）與 2）的指標

Tidyverse 的 Machine Learning

1）準備實際類別

attrition class
Yes TRUE
No FALSE 
validate$Attrition

No  No  No  No  No  Yes No  Yes  ...  No  No  No

validate_actual <- validate$Attrition == "Yes"
validate_actual

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE ... FALSE FALSE FALSE
Tidyverse 的 Machine Learning

2）準備預測類別

P(attrition) class
$ \gt $ 0.5 TRUE
$ \le $ 0.5 FALSE 
validate_prob <- predict(model, validate, type = "response")
validate_prob

0.324 0.012 0.077 0.001 0.104 0.940 0.116 0.811 0.261 0.027 0.065 0.060

validate_predicted <- validate_prob > 0.5
validate_predicted

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE FALSE FALSE FALSE FALSE
Tidyverse 的 Machine Learning

3）用指標比較 1）與 2）

table(validate_actual, validate_predicted)

               validate_predicted
validate_actual FALSE TRUE
          FALSE   181    5
          TRUE     17   18
Tidyverse 的 Machine Learning

3）指標：Accuracy（正確率）

accuracy(validate_actual, validate_predicted)

0.9004525
Tidyverse 的 Machine Learning

3）指標：Precision（精確率）

precision(validate_actual, validate_predicted)

0.7826087
Tidyverse 的 Machine Learning

3）指標：Recall（召回率）

recall(validate_actual, validate_predicted)

0.5142857
Tidyverse 的 Machine Learning

一起來練習吧！

Tidyverse 的 Machine Learning

Preparing Video For Download...