分類モデルの評価

Tidyverse で学ぶ Machine Learning

Dmitriy (Dima) Gorenshteyn

Lead Data Scientist, Memorial Sloan Kettering Cancer Center

評価に必要な要素

1) 実際のattritionクラス
2) 予測したattritionクラス
3) 1)と2)を比較する指標

Tidyverse で学ぶ Machine Learning

1) 実クラスの準備

attrition class
Yes TRUE
No FALSE 
validate$Attrition

No  No  No  No  No  Yes No  Yes  ...  No  No  No

validate_actual <- validate$Attrition == "Yes"
validate_actual

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE ... FALSE FALSE FALSE
Tidyverse で学ぶ Machine Learning

2) 予測クラスの準備

P(attrition) class
$ \gt $ 0.5 TRUE
$ \le $ 0.5 FALSE 
validate_prob <- predict(model, validate, type = "response")
validate_prob

0.324 0.012 0.077 0.001 0.104 0.940 0.116 0.811 0.261 0.027 0.065 0.060

validate_predicted <- validate_prob > 0.5
validate_predicted

FALSE FALSE FALSE FALSE FALSE  TRUE FALSE  TRUE FALSE FALSE FALSE FALSE
Tidyverse で学ぶ Machine Learning

3) 1) と 2) を比較する指標

table(validate_actual, validate_predicted)

               validate_predicted
validate_actual FALSE TRUE
          FALSE   181    5
          TRUE     17   18
Tidyverse で学ぶ Machine Learning

3) 指標: 正解率 (Accuracy)

accuracy(validate_actual, validate_predicted)

0.9004525
Tidyverse で学ぶ Machine Learning

3) 指標: 適合率 (Precision)

precision(validate_actual, validate_predicted)

0.7826087
Tidyverse で学ぶ Machine Learning

3) 指標: 再現率 (Recall)

recall(validate_actual, validate_predicted)

0.5142857
Tidyverse で学ぶ Machine Learning

演習に進みましょう

Tidyverse で学ぶ Machine Learning

Preparing Video For Download...