モデル性能の評価

R で学ぶネットワークデータの予測分析

María Óskarsdóttir, Ph.D.

Post-doctoral researcher

予測の実行

library(pROC)
  • ロジスティック回帰
logPredictions <- predict(logModel, newdata = test_set, type = "response")
  • ランダムフォレスト
rfPredictions<- predict(rfModel, newdata = test_set, type='prob')
rfPredictions
attr(,"class")

      0     1
C 0.136 0.864
"matrix" "votes"
R で学ぶネットワークデータの予測分析

AUC

  • ランダムに選んだ解約者が非解約者より高いスコアを得る確率
  • モデルの感度と特異度のトレードオフを示す
  • 値の範囲：
    • 0.5：ランダムモデル
    • 1：完全なモデル
library(pROC)
auc(test_set$label, logPredictions)
R で学ぶネットワークデータの予測分析

上位十分位リフト

  • ランダムサンプルと比較して、予測モデルが解約者をどれだけうまく特定できるか
  • 解約予測確率の上位10%の顧客のうち、実際の解約者の割合を算出
  • リフト値が1より大きければ、ランダムモデルより優れている
  • 上位10%に60%の解約者が含まれ、全体の解約率が10%の場合、リフトは $60/10=6$
library(lift)
TopDecileLift(test_set$label, predictions, plot=TRUE)
R で学ぶネットワークデータの予測分析

練習しましょう！

R で学ぶネットワークデータの予測分析

Preparing Video For Download...