模型評估

用 Python 透過機器學習預測 CTR

Kevin Huo

Instructor

Precision 與 Recall

  • Precision：點擊數占曝光次數的比例，TP / (TP + FP)
    • Precision 越高，廣告花費的 ROI 越高
  • Recall：實際可得點擊中被抓到的比例，TP / (TP + FN)
    • Recall 越高，受眾鎖定越準確
用 Python 透過機器學習預測 CTR

計算 Precision 與 Recall

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
用 Python 透過機器學習預測 CTR

基準分類器

  • 評估分類器時，要和合適的基準比較
    • 由於點擊資料不平衡，這裡的基準是永遠預測無點擊的分類器
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
用 Python 透過機器學習預測 CTR

對 ROI 分析的影響

  • 對基準分類器而言，tp 與 fp 皆為 0
  • 因此總回報與總花費皆為 0，ROI 不可定義
  • 以 confusion_matrix() 搭配 ravel() 取得四種結果類別
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
用 Python 透過機器學習預測 CTR

一起來練習吧！

用 Python 透過機器學習預測 CTR

Preparing Video For Download...