Güç ve örneklem büyüklüğü

R ile A/B Testi

Lauryn Burleigh

Data Scientist

Gücün tanımı

  • Sıfır hipotezi yanlışken onu reddetme olasılığı
  • Sıfırı reddetmeme Tip II hatasını yapmama
  • İdeal: küçük Tip II hata oranı, büyük güç

Solda sıfır hipotezi dağılımı ve sağda alternatif hipotez dağılımı kısmen çakışmış. Kesik yatay çizgi dağılımların örtüştüğü p-değerini gösterir. Alternatif hipotez altında çizginin solu Tip II hatayı, sağı gücü gösterir.

R ile A/B Testi

Gücün faydaları

Testin işe yararlığı

  • Reddedilmesi gerekirken sıfır hipotezini reddetme

Solda sıfır hipotezi dağılımı ve sağda alternatif hipotez dağılımı kısmen çakışmış. Kesik yatay çizgi dağılımların örtüştüğü p-değerini gösterir. Alternatif hipotez altında çizginin solu Tip II hatayı, sağı gücü gösterir.

Güç

  • Gerekli örneklem büyüklüğünü belirleme
  • Sonuçların güvenilirliğini kontrol etme
R ile A/B Testi

Örneklem büyüklüğü

  • Tahmini etki büyüklüğü
  • Tahmini güç (genelde 0.8)
  • Alfa (genelde 0.05)

Çeşitli örneklem büyüklüklerinin çakışan dağılımları: daha küçük örneklem daha dar dağılıma sahip. X ekseninde t-değeri. Küçük örneklemler anlamlılığa ulaşmak için daha büyük t-değeri ister.

library(pwr)
pwr.t.test(d = .8, power = 0.8,

           sig.level = 0.05,

           type = "one.sample",

           alternative = "two.sided")

     One-sample t test power calculation 
              n = 14.30276
              d = 0.8
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
R ile A/B Testi

Etki büyüklüğü

  • Beklenen etki büyüklüğü
  • Kontrol grubu ortalaması - deney grubu ortalaması

Solda sıfır hipotezi dağılımı, sağda alternatif hipotez dağılımı kısmen çakışmış. Kesik yatay çizgi dağılımların örtüştüğü p-değerini gösterir. Alternatif hipotez altında çizginin solu Tip II hatayı, sağı gücü gösterir. Kırmızı çubuk etki büyüklüğünün iki dağılımın tepe noktaları arasındaki fark olduğunu belirtir.

Analiz öncesi

Etki büyüklüğünü şunlarla bulun:

  • Arka plan bilgisi
  • Ön veriler

 

Analiz sonrası

Etki büyüklüğünü şunlarla bulun:

  • Tüm veri kümesi
R ile A/B Testi

Testin güç analizi

Daha yüksek güç = sıfır hipotezini doğru biçimde reddetme olasılığı daha yüksek

Gerekli üç unsur:

  • Örneklem büyüklüğü
  • Etki büyüklüğü
  • Alfa
library(pwr)
pwr.t.test(n = 20, sig.level = 0.045, 
           d = .81, type = "one.sample")

     One-sample t test power calculation 
              n = 20
              d = 0.81
      sig.level = 0.045
          power = 0.9223189
    alternative = two.sided
R ile A/B Testi

Pizza dağılımları

Benzer dağılımlar

Anlamlı fark yok

İki histogram: Pepperoni pembe, Cheese mavi. X ekseninde alınan değerler, y ekseninde frekans. Tepe noktaları x ekseninde birbirine yakındır.

Farklı dağılımlar

Muhtemelen anlamlı fark

İki histogram: Pepperoni pembe, Cheese mavi. X ekseninde alınan değerler, y ekseninde frekans. Tepe noktaları x ekseninde ayrılmıştır.

R ile A/B Testi

Pizza hipotezleri

Pembe sıfır hipotezi dağılımı (ortalama farkı 0) ve mavi alternatif hipotez dağılımı (ortalama farkı 3.5). 1.64’te dikey bir çizgi kritik reddi gösterir.

  • Benzer: redde değerinin solu
  • Farklı: redde değerinin sağı
library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)
R ile A/B Testi

Pizza gücü

Pembe sıfır hipotezi dağılımı (ortalama farkı 0) ve mavi alternatif hipotez dağılımı (ortalama farkı 3.5). 1.64’te dikey bir çizgi kritik reddi gösterir.

  • Benzer: redde değerinin solu
  • Farklı: redde değerinin sağı
  • Güç: aynı malzeme dağılımlarını yanlış bulmama olasılığı (Tip II hata)
library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)
R ile A/B Testi

Ayo berlatih!

R ile A/B Testi

Preparing Video For Download...