Mann-Whitney U 检验

R 中的 A/B 测试

Lauryn Burleigh

Data Scientist

Mann-Whitney U

  • 吃芝士 vs. 意大利腊肠披萨的时间
  • 非正态分布
  • 非参数
    • 不假设分布形状
    • Mann-Whitney U 检验

两个左偏直方图。粉色为意大利腊肠，均值 8；蓝色为芝士，均值 6.2。

R 中的 A/B 测试

假设条件

  • 分布形状相同
  • 比较中位数差异
  • 正态分布：均值=中位数
  • 非正态：用中位数更合适
  • 额外假设：检验更有力
  • 原假设：吃芝士与腊肠披萨的中位用时无差异
library(ggplot2)
ggplot(pizza, aes(x = Time, 
                  fill = Topping)) +
       geom_histogram() + 
       facet_grid(Topping~.)

两个左偏直方图。粉色为意大利腊肠，均值 8；蓝色为芝士，均值 6.2。

R 中的 A/B 测试

样本量

library(pwr)
pwr.2p2n.test(h = 0.40, 
              sig.level = 0.05, 
              power = 0.8, n1 = 100)

    二项分布两比例差
 功效计算
              h = 0.4
             n1 = 100
             n2 = 96.29156
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
NOTE: 不同样本量

pwr.2p2n.test(h = 0.40, 
              sig.level = 0.05, 
              power = 0.8, n1 = 110)

    二项分布两比例差
 功效计算
              h = 0.4
             n1 = 110
             n2 = 88.54092
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
NOTE: 不同样本量
  • 预期效应量 h：秩双列相关 r
    • 看两组受试者的秩次
R 中的 A/B 测试

检验

wilcox.test(Time ~ Topping, 
            data = Pizza)
  • y ~ x
    • y：数据
    • x：分组
    Wilcoxon 秩和检验，含
    连续性校正
data:  Enjoyment by Topping
W = 6051, p-value = 0.01026
alternative hypothesis: 真正位置
偏移不等于 0
R 中的 A/B 测试

效应量与功效

效应量

library(effectsize)
rank_biserial(Time ~ Topping, 
              data = pizza)

r（秩双列相关） |         95% CI
<----------------------------------
0.21              | [0.05, 0.36]
  • 小：0.1
  • 中：0.3
  • 大：0.5

1 - 0.14 = 0.86 二类错误概率

功效分析

library(pwr)
pwr.2p2n.test(h = 0.21, sig.level = 0.01, 
              n1 = 100, n2 = 100)

     二项分布两比例差功效计算 

              h = 0.21
             n1 = 100
             n2 = 100
      sig.level = 0.01
          power = 0.1376818
    alternative = two.sided

NOTE: 不同样本量
R 中的 A/B 测试

Passons à la pratique !

R 中的 A/B 测试

Preparing Video For Download...