Sınıflandırma Modellerini Değerlendirme

Tidyverse ile Machine Learning

Dmitriy (Dima) Gorenshteyn

Lead Data Scientist, Memorial Sloan Kettering Cancer Center

Performans Ölçümü İçin Girdiler

1) Gerçek attrition sınıfları
2) Tahmin edilen attrition sınıfları
3) 1) ve 2)’yi karşılaştıracak bir metrik

Tidyverse ile Machine Learning

1) Gerçek Sınıfları Hazırlayın

attrition sınıf
Yes TRUE
No FALSE 
validate$Attrition

No  No  No  No  No  Yes No  Yes  ...  No  No  No

validate_actual <- validate$Attrition == "Yes"
validate_actual

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE ... FALSE FALSE FALSE
Tidyverse ile Machine Learning

2) Tahmin Edilen Sınıfları Hazırlayın

P(attrition) sınıf
$ \gt $ 0.5 TRUE
$ \le $ 0.5 FALSE 
validate_prob <- predict(model, validate, type = "response")
validate_prob

0.324 0.012 0.077 0.001 0.104 0.940 0.116 0.811 0.261 0.027 0.065 0.060

validate_predicted <- validate_prob > 0.5
validate_predicted

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE FALSE FALSE FALSE FALSE
Tidyverse ile Machine Learning

3) 1) ve 2)’yi karşılaştıracak bir metrik

table(validate_actual, validate_predicted)

               validate_predicted
validate_actual FALSE TRUE
          FALSE   181    5
          TRUE     17   18
Tidyverse ile Machine Learning

3) Metrik: Doğruluk (Accuracy)

accuracy(validate_actual, validate_predicted)

0.9004525
Tidyverse ile Machine Learning

3) Metrik: Kesinlik (Precision)

precision(validate_actual, validate_predicted)

0.7826087
Tidyverse ile Machine Learning

3) Metrik: Duyarlılık (Recall)

recall(validate_actual, validate_predicted)

0.5142857
Tidyverse ile Machine Learning

Hadi pratik yapalım!

Tidyverse ile Machine Learning

Preparing Video For Download...