Bağımsız örneklem t-testi

R ile A/B Testi

Lauryn Burleigh

Data Scientist

A/B tasarımında bağımsız t-testi

  • Ortalama farkının anlamlılığı
  • Sıfır hipotezi:
    • Cheese ve Pepperoni pizzalar aynı sürede yenir (fark yok)
R ile A/B Testi

Varsayımlar

  • Bağımlı değişken:
    • Aralık ya da oran
    • Eşit aralıklar
  • Rastgele örnekler
  • Normal dağılım
  • Benzer grup varyansları
library(ggplot2)
ggplot(pizza, aes(x = Time, 
                  fill = Topping)) +
       geom_histogram() + 
       facet_grid(Topping~.)

İki normal dağılımlı histogram. Pepperoni pembe, ortalama 8; Cheese mavi, ortalama 6.2.

R ile A/B Testi

Örneklem büyüklüğü

library(pwr)
pwr.t.test(d = 0.73, power = 0.80, 
           sig.level = 0.05, 
           type = "two.sample", 
           alternative = "two.sided")

  İki örneklem t-testi güç hesabı 

              n = 30.44799
              d = 0.73
      anl.düzeyi = 0.05
           güç = 0.8
    alternatif = two.sided

NOT: n her grubun büyüklüğüdür
R ile A/B Testi

Varyansların değerlendirilmesi

  • Grup varyansları eşit
  • Levene testi

Anlamsız (p > 0.05) = varyanslar eşit

Anlamlı ise (p < 0.05) = varyanslar eşit değil

library(car)
leveneTest(Time ~ Topping, 
           data = Pizza)

Varyansların Homojenliği için Levene Testi
         Sd F değeri Pr(>F)
group   1  0.1457 0.7031
R ile A/B Testi

Test

t.test(Time ~ Topping, data = Pizza, 
       paired = FALSE, 
       alternative = "two.sided", 
       var.equal = TRUE)

    İki Örneklem t-testi
everi:  Topping'a göre Time
t = 2.3811, sd = 198, p-değeri = 0.01821
alternatif hipotez: Pepperoni ve Cheese 
grubu ortalamaları arasındaki gerçek fark 0'a eşit değildir
%95 güven aralığı:
 0.0599370 0.6377601
R ile A/B Testi

Cohen'in d'si

  • Cohen'in d'si: t-testinin etki büyüklüğü
    • Ortalamalar farkının standartlaştırılmış ölçüsü
  • Küçük: 0.2
  • Orta: 0.5
  • Büyük: 0.8
library(effectsize)
cohens_d(Time ~ Topping, data = Pizza)

Cohen'in d'si |       %95 GA
<----------------------
0.34          | [0.06, 0.62]
R ile A/B Testi

Güç (Power)

library(pwr)

pwr.t.test(n = 1000, 
           sig.level = 0.0182, 
           d = 0.34, 
           type = "two.sample")

  İki örneklem t-testi güç hesabı 
              n = 100
              d = 0.34
      anl.düzeyi = 0.0182
           güç = 0.510256
    alternatif = two.sided
NOT: n her grubun büyüklüğüdür
  • Sonuçları kabul için ideal güç: 0.8
    • Hata olasılığı: %20
    • 100 - 80 = 20
R ile A/B Testi

Haydi pratik yapalım!

R ile A/B Testi

Preparing Video For Download...