A/B 测试

数据科学概览

Lis Sulmont

Curriculum Manager, DataCamp

数据科学工作流

数据科学中的实验是什么？

实验帮助驱动决策并得出结论

1. 提出问题
2. 提出假设
3. 收集数据
4. 用统计检验检验假设
5. 解释结果

案例：哪个博客标题更好？

提出问题： 标题 A 还是标题 B 的点击更多？

提出假设： 标题 A 与标题 B 的点击量相同。

收集数据：

• 50% 用户看到标题 A
• 50% 用户看到标题 B
• 跟踪点击率，直至达到样本量

案例：哪个博客标题更好？

用统计检验检验假设： 标题点击率差异是否显著？

解释结果：

• 选择一个标题
• 或提出新问题并设计下一次实验

什么是 A/B 测试？

亦称 Champion/Challenger 测试

术语回顾

• 样本量： 使用的数据点数量
• 统计显著性： 结果很可能非偶然
  • 基于统计模型的假设
  • 用统计检验计算：
    • 如 t 检验、Z 检验、ANOVA、卡方检验

A/B 测试步骤

• 选定跟踪指标
• 计算样本量
• 运行实验
• 检查显著性

选择指标：点击率（CTR）

• 用基线指标衡量变化
  • 人们一般多常点击我们的博客链接
• 若比例远离 50%，需更大样本量
  • 点击率通常很小（<3%）

更大的样本量可检测更小的变化

运行实验

检查显著性

若结果不显著怎么办？

• 差异小于既定阈值
• 延长测试无济于事
• 可能仍有差异，但对我们而言很小且不重要

Passons à la pratique !

数据科学概览