Kiểm định Mann-Whitney U

A/B Testing bằng R

Lauryn Burleigh

Data Scientist

Mann-Whitney U

  • Thời gian ăn Pizza Phô mai vs Pepperoni
  • Phân phối không chuẩn
  • Phi tham số
    • Không giả định dạng phân phối
    • Kiểm định Mann-Whitney U

Hai biểu đồ tần suất lệch trái. Pepperoni màu hồng có trung bình 8 và Phô mai màu xanh có trung bình 6.2.

A/B Testing bằng R

Giả định

  • Cùng dạng phân phối
  • Đánh giá khác biệt trung vị
  • Phân phối chuẩn: mean = median
  • Không chuẩn: dùng median phù hợp hơn
  • Thêm giả định: kiểm định mạnh hơn
  • H0: không khác biệt trung vị thời gian ăn pizza phô mai và pepperoni
library(ggplot2)
ggplot(pizza, aes(x = Time, 
                  fill = Topping)) +
       geom_histogram() + 
       facet_grid(Topping~.)

Hai biểu đồ tần suất lệch trái. Pepperoni màu hồng có trung bình 8 và Phô mai màu xanh có trung bình 6.2.

A/B Testing bằng R

Cỡ mẫu

library(pwr)
pwr.2p2n.test(h = 0.40, 
              sig.level = 0.05, 
              power = 0.8, n1 = 100)

    difference of proportion power 
 calculation for binomial distribution
              h = 0.4
             n1 = 100
             n2 = 96.29156
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
NOTE: different sample sizes

pwr.2p2n.test(h = 0.40, 
              sig.level = 0.05, 
              power = 0.8, n1 = 110)

    difference of proportion power 
 calculation for binomial distribution
              h = 0.4
             n1 = 110
             n2 = 88.54092
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
NOTE: different sample sizes
  • Kích thước hiệu ứng kỳ vọng h: tương quan hạng nhị phân r
    • Xem thứ hạng giữa các nhóm
A/B Testing bằng R

Kiểm định

wilcox.test(Time ~ Topping, 
            data = Pizza)
  • y ~ x
    • y: dữ liệu
    • x: nhóm
    Wilcoxon rank sum test with 
    continuity correction
data:  Enjoyment by Topping
W = 6051, p-value = 0.01026
alternative hypothesis: true location 
shift is not equal to 0
A/B Testing bằng R

Kích thước hiệu ứng và power

Kích thước hiệu ứng

library(effectsize)
rank_biserial(Time ~ Topping, 
              data = pizza)

r (rank biserial) |         95% CI
<----------------------------------
0.21              | [0.05, 0.36]
  • Nhỏ: 0.1
  • Vừa: 0.3
  • Lớn: 0.5

1 - 0.14 = 0.86 xác suất lỗi loại II

Phân tích lực (power)

library(pwr)
pwr.2p2n.test(h = 0.21, sig.level = 0.01, 
              n1 = 100, n2 = 100)

     difference of proportion power calculation for binomial distribution 

              h = 0.21
             n1 = 100
             n2 = 100
      sig.level = 0.01
          power = 0.1376818
    alternative = two.sided

NOTE: different sample sizes
A/B Testing bằng R

Ayo berlatih!

A/B Testing bằng R

Preparing Video For Download...