독립 표본 t-검정

R로 배우는 A/B Testing

Lauryn Burleigh

Data Scientist

A/B 설계의 독립 t-검정

  • 평균 차이의 유의성
  • 영가설:
    • 치즈와 페퍼로니 피자 섭취 시간은 같다(차이 없음)
R로 배우는 A/B Testing

가정

  • 종속변수:
    • 구간/비율 척도
    • 동등한 간격
  • 무작위 표본
  • 정규분포
  • 집단 분산 유사
library(ggplot2)
ggplot(pizza, aes(x = Time, 
                  fill = Topping)) +
       geom_histogram() + 
       facet_grid(Topping~.)

정규분포 히스토그램 2개. 페퍼로니는 분홍(평균 8), 치즈는 파랑(평균 6.2).

R로 배우는 A/B Testing

표본 크기

library(pwr)
pwr.t.test(d = 0.73, power = 0.80, 
           sig.level = 0.05, 
           type = "two.sample", 
           alternative = "two.sided")

  Two-sample t test power calculation 

              n = 30.44799
              d = 0.73
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

NOTE: n is number in *each* group
R로 배우는 A/B Testing

분산 평가

  • 집단 분산이 동일
  • Levene 검정

유의하지 않음(p > 0.05) = 분산 동일

유의함(p < 0.05) = 분산 다름

library(car)
leveneTest(Time ~ Topping, 
           data = Pizza)

Levene's Test for Homogeneity of Variance
         Df F value Pr(>F)
group   1  0.1457 0.7031
R로 배우는 A/B Testing

검정

t.test(Time ~ Topping, data = Pizza, 
       paired = FALSE, 
       alternative = "two.sided", 
       var.equal = TRUE)

    Two Sample t-test
data:  Time by Topping
t = 2.3811, df = 198, p-value = 0.01821
alternative hypothesis: true difference 
in means between group Pepperoni and 
group Cheese is not equal to 0
95 percent confidence interval:
 0.0599370 0.6377601
R로 배우는 A/B Testing

Cohen의 d

  • Cohen의 d: t-검정 효과 크기
    • 평균 차이를 표준화한 지표
  • 작음: 0.2
  • 보통: 0.5
  • 큼: 0.8
library(effectsize)
cohens_d(Time ~ Topping, data = Pizza)

Cohen's d |       95% CI
<----------------------
0.34      | [0.06, 0.62]
R로 배우는 A/B Testing

검정력

library(pwr)

pwr.t.test(n = 1000, 
           sig.level = 0.0182, 
           d = 0.34, 
           type = "two.sample")

  Two-sample t test power calculation 
              n = 100
              d = 0.34
      sig.level = 0.0182
          power = 0.510256
    alternative = two.sided
NOTE: n is number in *each* group
  • 결과 수용에 적정한 검정력: 0.8
    • 오류 확률: 20%
    • 100 - 80 = 20
R로 배우는 A/B Testing

Ayo berlatih!

R로 배우는 A/B Testing

Preparing Video For Download...