模型评估

用 Python 预测 CTR 的机器学习实战

Kevin Huo

Instructor

精确率与召回率

  • 精确率：点击占展示总量的比例，TP / (TP + FP)
    • 精确率越高，广告支出ROI越高
  • 召回率：获得的点击占所有可获得点击的比例，TP / (TP + FN)
    • 召回率越高，受众定位越相关
用 Python 预测 CTR 的机器学习实战

计算精确率与召回率

print(precision_score(
  y_test, y_pred, average = 'weighted'))

0.73

print(recall_score(
  y_test, y_pred, average = 'weighted'))

0.75
用 Python 预测 CTR 的机器学习实战

基线分类器

  • 需将分类器与合适的基线比较
    • 此处因点击数据不平衡，基线为始终预测"无点击"的分类器
y_pred = np.asarray([0 for x in range(len(X_test))])

[[0]
 [0] ...]
用 Python 预测 CTR 的机器学习实战

对 ROI 分析的影响

  • 对于基线分类器，tp 与 fp 为 0
  • 因此总回报与总花费为 0，ROI 未定义
  • 通过 confusion_matrix() 并配合 ravel() 获取四类结果
    total_return = tp * r
total_spent = (tp + fp) * cost
roi = total_return / total_spent
用 Python 预测 CTR 的机器学习实战

让我们来练习！

用 Python 预测 CTR 的机器学习实战

Preparing Video For Download...