评估分类模型

Tidyverse 中的机器学习

Dmitriy (Dima) Gorenshteyn

Lead Data Scientist, Memorial Sloan Kettering Cancer Center

性能评估要素

1）实际的 attrition 类别
2）预测的 attrition 类别
3）用于比较 1）和 2）的指标

Tidyverse 中的机器学习

1）准备实际类别

attrition 类别
Yes TRUE
No FALSE 
validate$Attrition

No  No  No  No  No  Yes No  Yes  ...  No  No  No

validate_actual <- validate$Attrition == "Yes"
validate_actual

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE ... FALSE FALSE FALSE
Tidyverse 中的机器学习

2）准备预测类别

P(attrition) 类别
$ \gt $ 0.5 TRUE
$ \le $ 0.5 FALSE 
validate_prob <- predict(model, validate, type = "response")
validate_prob

0.324 0.012 0.077 0.001 0.104 0.940 0.116 0.811 0.261 0.027 0.065 0.060

validate_predicted <- validate_prob > 0.5
validate_predicted

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE FALSE FALSE FALSE FALSE
Tidyverse 中的机器学习

3）用于比较 1）和 2） 的指标

table(validate_actual, validate_predicted)

               validate_predicted
validate_actual FALSE TRUE
          FALSE   181    5
          TRUE     17   18
Tidyverse 中的机器学习

3）指标：准确率

accuracy(validate_actual, validate_predicted)

0.9004525
Tidyverse 中的机器学习

3）指标：精确率

precision(validate_actual, validate_predicted)

0.7826087
Tidyverse 中的机器学习

3）指标：召回率

recall(validate_actual, validate_predicted)

0.5142857
Tidyverse 中的机器学习

让我们练习一下！

Tidyverse 中的机器学习

Preparing Video For Download...