Mann-Whitney U testi

R ile A/B Testi

Lauryn Burleigh

Data Scientist

Mann-Whitney U

  • Peynirli ve Sucuklu pizzada yeme süresi
  • Normal dağılmıyor
  • Parametrik olmayan
    • Dağılım şekli varsayılmaz
    • Mann-Whitney U testi

İki sola çarpık histogram. Sucuklu pembe, ortalama 8; Peynirli mavi, ortalama 6.2.

R ile A/B Testi

Varsayımlar

  • Aynı dağılım şekilleri
  • Medyan farkını değerlendirir
  • Normal dağılım: ortalama = medyan
  • Normal değilse: medyan daha uygundur
  • Ek varsayımlar: daha güçlü test
  • Null hipotez: peynirli ve sucuklu pizzada yeme medyanı eşittir
library(ggplot2)
ggplot(pizza, aes(x = Time, 
                  fill = Topping)) +
       geom_histogram() + 
       facet_grid(Topping~.)

İki sola çarpık histogram. Sucuklu pembe, ortalama 8; Peynirli mavi, ortalama 6.2.

R ile A/B Testi

Örneklem büyüklüğü

library(pwr)
pwr.2p2n.test(h = 0.40, 
              sig.level = 0.05, 
              power = 0.8, n1 = 100)

    ikili dağılım için oran farkı 
 güç hesaplaması
              h = 0.4
             n1 = 100
             n2 = 96.29156
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
NOT: farklı örneklem büyüklükleri

pwr.2p2n.test(h = 0.40, 
              sig.level = 0.05, 
              power = 0.8, n1 = 110)

    ikili dağılım için oran farkı 
 güç hesaplaması
              h = 0.4
             n1 = 110
             n2 = 88.54092
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
NOT: farklı örneklem büyüklükleri
  • Beklenen etki büyüklüğü h: sıra-biserial korelasyon r
    • Gruplardaki deneklerin sıralaması nasıl?
R ile A/B Testi

Test

wilcox.test(Time ~ Topping, 
            data = Pizza)
  • y ~ x
    • y: veri
    • x: grup
    Süreklilik düzeltmeli Wilcoxon sıra toplamı testi
data:  Enjoyment by Topping
W = 6051, p-value = 0.01026
alternatif hipotez: gerçek konum
kayması 0'a eşit değildir
R ile A/B Testi

Etki büyüklüğü ve güç

Etki büyüklüğü

library(effectsize)
rank_biserial(Time ~ Topping, 
              data = pizza)

r (sıra-biserial) |         %95 GA
<----------------------------------
0.21              | [0.05, 0.36]
  • Küçük: 0.1
  • Orta: 0.3
  • Büyük: 0.5

1 - 0.14 = 0.86 Tip II hata olasılığı

Güç analizi

library(pwr)
pwr.2p2n.test(h = 0.21, sig.level = 0.01, 
              n1 = 100, n2 = 100)

     ikili dağılım için oran farkı güç hesaplaması 

              h = 0.21
             n1 = 100
             n2 = 100
      sig.level = 0.01
          power = 0.1376818
    alternative = two.sided

NOT: farklı örneklem büyüklükleri
R ile A/B Testi

Haydi pratik yapalım!

R ile A/B Testi

Preparing Video For Download...