Đánh giá hiệu suất mô hình

Phân tích dự đoán với dữ liệu mạng trong R

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

Tạo dự đoán

library(pROC)

logPredictions <- predict(logModel, newdata = test_set, type = "response")

rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"

Xác suất một khách hàng rời bỏ được chọn ngẫu nhiên có điểm cao hơn một khách hàng không rời bỏ được chọn ngẫu nhiên
Thể hiện đánh đổi giữa độ nhạy và độ đặc hiệu của mô hình
Một số trong khoảng:
- 0.5: mô hình ngẫu nhiên
- 1: mô hình hoàn hảo

library(pROC)
auc(test_set$label, logPredictions)

Mô hình dự đoán tốt hơn bao nhiêu trong việc nhận diện khách hàng rời bỏ so với chọn ngẫu nhiên
Tính tỷ lệ khách hàng rời bỏ thực trong 10% khách hàng có xác suất rời bỏ dự đoán cao nhất
Giá trị lift > 1 nghĩa là mô hình tốt hơn mô hình ngẫu nhiên
Nếu trong top 10% điểm cao nhất có 60% rời bỏ và toàn bộ dân số có 10% rời bỏ, thì lift là $60/10=6$

library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)

Phân tích dự đoán với dữ liệu mạng trong R