モデル評価

PythonでMachine Learningを使ってCTRを予測する

Kevin Huo

Instructor

適合率と再現率

  • 適合率: インプレッションに対するクリックの割合、TP / (TP + FP)
    • 適合率が高いほど広告費のROIが高い
  • 再現率: 取得したクリックの割合（全クリックに対して）、TP / (TP + FN)
    • 再現率が高いほど関連オーディエンスへの到達が良い
PythonでMachine Learningを使ってCTRを予測する

適合率と再現率の計算

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
PythonでMachine Learningを使ってCTRを予測する

ベースライン分類器

  • 分類器は適切なベースラインと比較して評価することが重要
    • クリックデータの不均衡のため、ここでのベースラインは常に「クリックなし」を予測する分類器
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
PythonでMachine Learningを使ってCTRを予測する

ROI分析への影響

  • ベースライン分類器では tp と fp はゼロ
  • よって総収益・総支出はゼロ、ROIは未定義
  • confusion_matrix() と ravel() で4区分を取得
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
PythonでMachine Learningを使ってCTRを予測する

演習に進みましょう！

PythonでMachine Learningを使ってCTRを予測する

Preparing Video For Download...