評価指標の活用

PythonでMachine Learningを使ってCTRを予測する

Kevin Huo

Instructor

4種類の結果

分類における4種類の結果の例

  • カテゴリ前半（true/false）は予測が正しいか否かを示す
  • カテゴリ後半（positive/negative）はモデルが付与したターゲットラベルを示す
PythonでMachine Learningを使ってCTRを予測する

4結果の解釈

  • クリックを予測すると、そのインプレッションに入札し費用が発生
  • クリックなしを予測すると、入札せず費用なし
  • 真陽性 (TP): 収益（支払ったインプレッションが実際にクリック）
  • 偽陽性 (FP): 損失（支払ったがクリックされず）
  • 真陰性 (TN): 節約（クリックなし予測で購入せず）
  • 偽陰性 (FN): 機会損失（クリックなし予測だが実際はクリック）
PythonでMachine Learningを使ってCTRを予測する

混同行列

print(confusion_matrix(y_test, y_pred))

[[8163  166]
 [1517  154]]

# Order: tn, fp, fn, tp
print(confusion_matrix(y_test, y_pred).ravel())

[8163, 166, 1517, 154]
PythonでMachine Learningを使ってCTRを予測する

ROI分析

  • 前提: X件のインプレッションあたりコスト c、リターン r
total_return = tp * r

total_cost = (tp + fp) * c

tp * r > (tp + fp) * c

roi = total_return / total_spent
PythonでMachine Learningを使ってCTRを予測する

演習に進みましょう！

PythonでMachine Learningを使ってCTRを予測する

Preparing Video For Download...