独立样本 t 检验

R 中的 A/B 测试

Lauryn Burleigh

Data Scientist

A/B 设计中的独立 t 检验

  • 比较均值差的显著性
  • 原假设：
    • Cheese 与 Pepperoni 吃完所用时间相同（无差异）
R 中的 A/B 测试

前提条件（Assumptions）

  • 因变量：
    • 区间或比率
    • 等距
  • 随机抽样
  • 正态分布
  • 组间方差相近
library(ggplot2)
ggplot(pizza, aes(x = Time, 
                  fill = Topping)) +
       geom_histogram() + 
       facet_grid(Topping~.)

两个近似正态的直方图。Pepperoni 为粉色，均值 8；Cheese 为蓝色，均值 6.2。

R 中的 A/B 测试

样本量

library(pwr)
pwr.t.test(d = 0.73, power = 0.80, 
           sig.level = 0.05, 
           type = "two.sample", 
           alternative = "two.sided")

  双样本 t 检验功效计算 

              n = 30.44799
              d = 0.73
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

注意：n 为每组样本量
R 中的 A/B 测试

评估方差

  • 组间方差相等
  • Levene 检验

不显著（p > 0.05）= 方差相等

若显著（p < 0.05）= 方差不等

library(car)
leveneTest(Time ~ Topping, 
           data = Pizza)

Levene 方差齐性检验
         Df F value Pr(>F)
group   1  0.1457 0.7031
R 中的 A/B 测试

检验

t.test(Time ~ Topping, data = Pizza, 
       paired = FALSE, 
       alternative = "two.sided", 
       var.equal = TRUE)

    双样本 t 检验
data:  Time 按 Topping 分组
t = 2.3811, df = 198, p-value = 0.01821
备择假设：Pepperoni 与 Cheese 组
均值之差不等于 0
95% 置信区间：
 0.0599370 0.6377601
R 中的 A/B 测试

Cohen's d

  • Cohen's d：t 检验效应量
    • 均值差的标准化度量
  • 小：0.2
  • 中：0.5
  • 大：0.8
library(effectsize)
cohens_d(Time ~ Topping, data = Pizza)

Cohen's d |       95% CI
<----------------------
0.34      | [0.06, 0.62]
R 中的 A/B 测试

功效（Power）

library(pwr)

pwr.t.test(n = 1000, 
           sig.level = 0.0182, 
           d = 0.34, 
           type = "two.sample")

  双样本 t 检验功效计算 
              n = 100
              d = 0.34
      sig.level = 0.0182
          power = 0.510256
    alternative = two.sided
注意：n 为每组样本量
  • 可接受结果的理想功效：0.8
    • 错误概率：20%
    • 100 - 80 = 20
R 中的 A/B 测试

¡Vamos a practicar!

R 中的 A/B 测试

Preparing Video For Download...