A/B 测试的注意事项

R 中的 A/B 测试

Lauryn Burleigh

Data Scientist

A/B 测试注意事项

仅在以下情况下使用 A/B：

  • 受试者/流量具有代表性
  • 有足够时间用于设计与测试
  • 明确的假设

A/B 测试注意点

  • 数据波动
  • 变量数量
  • 均值回归
R 中的 A/B 测试

数据波动

  • 要求准确性，需要整体人群的代表性
  • 波动会影响结果
    • 受试者变化
    • 星期几
    • 节假日
    • 公众评价

折线图：回访用户先降后回升，新用户上升。

冬季假期期间销量上升。

促销期间销量上升，非促销期下降。

R 中的 A/B 测试

波动示例

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

10 个数据点的直方图，数值分布满整个 x 轴。

10 个数据点的直方图，x 轴起、中、末均有柱。

10 个数据点的直方图，柱主要集中在 x 轴中部。

R 中的 A/B 测试

变量数量

  • 单一变量——理想
  • 一种配料/一个变量
    • 评估单个配料/条件
    • 奶酪：对照变量
    • 意大利香肠：配料变量
  • 两种配料/多个变量
    • 评估组合
    • 搭配：青椒&洋葱，橄榄&大蒜
    • 无对照

三组奶酪与意大利香肠单配料披萨，以及三组青椒配洋葱和橄榄配大蒜双配料披萨。

R 中的 A/B 测试

变量与一类错误

  • 变量越多 -> 分析越多
    • 更高的一类错误率
  • 常见显著性：5%
    • alpha：0.05
    • 一类错误概率 5%
  • 置信水平：100 - 显著性
    • 用于计算家族式错误率
      • 1 - 无假阳性的概率

计算家族式错误率

  • 显著性：5%
  • 置信水平：95%
  • 检验数量：10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

R 中的 A/B 测试

均值回归

  • 随数据增加，极端值被平均掉
  • 一类错误风险
  • 与对照组比较

折线图：起初新增提交很多，但随时间回归均值。

折线图：原按钮提交无变化；更改组初期提交增多，随后回归均值，与无变化数据持平。

R 中的 A/B 测试

均值回归

  • 小样本不准确
  • 一类错误风险
  • 更多数据 -> 接近真实均值
ID 享受度 [1-10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
R 中的 A/B 测试

Ayo berlatih!

R 中的 A/B 测试

Preparing Video For Download...