Đánh giá mô hình phân loại

Machine Learning trong tidyverse

Dmitriy (Dima) Gorenshteyn

Lead Data Scientist, Memorial Sloan Kettering Cancer Center

Thành phần để đo hiệu suất

1) Nhãn attrition thực tế
2) Nhãn attrition dự đoán
3) Chỉ số để so sánh 1) & 2)

Machine Learning trong tidyverse

1) Chuẩn bị nhãn thực tế

attrition lớp
Yes TRUE
No FALSE 
validate$Attrition

No  No  No  No  No  Yes No  Yes  ...  No  No  No

validate_actual <- validate$Attrition == "Yes"
validate_actual

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE ... FALSE FALSE FALSE
Machine Learning trong tidyverse

2) Chuẩn bị nhãn dự đoán

P(attrition) lớp
$ \gt $ 0.5 TRUE
$ \le $ 0.5 FALSE 
validate_prob <- predict(model, validate, type = "response")
validate_prob

0.324 0.012 0.077 0.001 0.104 0.940 0.116 0.811 0.261 0.027 0.065 0.060

validate_predicted <- validate_prob > 0.5
validate_predicted

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE FALSE FALSE FALSE FALSE
Machine Learning trong tidyverse

3) Chỉ số để so sánh 1) & 2)

table(validate_actual, validate_predicted)

               validate_predicted
validate_actual FALSE TRUE
          FALSE   181    5
          TRUE     17   18
Machine Learning trong tidyverse

3) Chỉ số: Accuracy (độ chính xác)

accuracy(validate_actual, validate_predicted)

0.9004525
Machine Learning trong tidyverse

3) Chỉ số: Precision (độ chính xác dương)

precision(validate_actual, validate_predicted)

0.7826087
Machine Learning trong tidyverse

3) Chỉ số: Recall (độ bao phủ)

recall(validate_actual, validate_predicted)

0.5142857
Machine Learning trong tidyverse

Hãy thực hành!

Machine Learning trong tidyverse

Preparing Video For Download...