A/B 测试最佳实践与进阶主题导入

Python 中的 A/B 测试

Moe Lotfy, PhD

Principal Data Science Manager

最佳实践

避免偷看

  • 在达到设计样本量前提前查看结果并据此决策会抬高错误率，类似多重比较。

考虑星期效应

  • 周末与工作日用户行为可能不同，应纳入整体行为考量。
Python 中的 A/B 测试

最佳实践

  • 简单/可行性：
    • 是否需要构建完整功能？
    • "涂漆门"测试
  • 隔离性
    • 一次只改变一个变量以归因影响。
Python 中的 A/B 测试

进阶主题

  • 多因素设计与交互效应
    • 衡量各变量的独立效应
    • 发现交互/协同效应
  • 贝叶斯 A/B 测试
    • 将先验数据纳入当前实验
    • 将总体参数视为分布
    • 更直观地解读结果
  • SUTVA 违背与网络效应
    • 单个用户的分组会影响他人
    • 社交网络中的 A/B 测试常见
    • 一种方案：按簇分配
Python 中的 A/B 测试

Let's practice!

Python 中的 A/B 测试

Preparing Video For Download...