A/B testinde dikkat edilecekler

R ile A/B Testi

Lauryn Burleigh

Data Scientist

A/B testinde dikkat edilecekler

Yalnızca şu durumlarda A/B kullanın...

  • Yeterli denek/trafik varsa
  • Tasarım ve testler için zaman varsa
  • Net bir hipotez varsa

A/B testinde dikkat edilecekler

  • Veri dalgalanmaları
  • Değişken sayısı
  • Ortalamaya dönüş
R ile A/B Testi

Veride dalgalanmalar

  • Doğruluk için tüm popülasyonu temsil eden örneklem gerekir
  • Dalgalanmalar sonuçları etkiler
    • Denek değişimi
    • Haftanın günü
    • Tatiller
    • Kamu algısı

Çizgi grafikte, dönen kullanıcılar önce düşüp sonra toparlanırken yeni kullanıcılar artıyor.

Kış tatillerinde satış sayısı artar.

İndirim sırasında satışlar artar, dışında düşer.

R ile A/B Testi

Dalgalanma örneği

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

10 veri noktasının, tüm x eksenine yayılan histogramı.

10 veri noktasının, x ekseninin başı, ortası ve sonunda sütunları olan histogramı.

10 veri noktasının, sütunları çoğunlukla x ekseninin ortasında olan histogramı.

R ile A/B Testi

Değişken sayısı

  • Tek değişken - ideal
  • Tek sos/tek değişken
    • Tek tek sos/koşul değerlendirme
    • Peynir: kontrol değişkeni
    • Sucuk: sos değişkeni
  • İki sos/çoklu değişken
    • Kombinasyonları değerlendirme
    • Eşleşmeler: dolmalık biber & soğan, zeytin & sarımsak
    • Kontrol yok

Her grupta 3 denekli peynir ve sucuklu tek soslu pizzalar ile her birinde 3 denekli biber-soğan ve zeytin-sarımsaklı iki soslu pizzalar.

R ile A/B Testi

Değişkenler ve Tip I hata

  • Daha çok değişken -> daha çok analiz
    • Daha yüksek Tip I hata oranı
  • Yaygın anlamlılık: %5
    • alfa: 0.05
    • Tip I hata olasılığı %5
  • Güven düzeyi: 100 - anlamlılık
    • Aile düzeyi hata oranı için kullanılır
      • 1 - Yanlış pozitif yok olasılığı

Aile düzeyi hata oranını hesapla

  • Anlamlılık: %5
  • Güven düzeyi: %95
  • Test sayısı: 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

%40

R ile A/B Testi

Ortalamaya dönüş

  • Aşırı değerler, ek veriyle ortalamaya yaklaşır
  • Tip I hata riski
  • Bir kontrol grupla karşılaştırın

Başta çok sayıda yeni gönderim olup zamanla ortalamaya dönen bir çizgi grafiği.

Orijinal düğmede gönderim değişmezken, değişiklik yapılan grupta başta artış olup zamanla ortalamaya dönerek değişiklik olmayan veriye yaklaşan bir A/B çizgi grafiği.

R ile A/B Testi

Ortalamaya dönüş

  • Küçük örneklemler isabetsizdir
  • Tip I hata riski
  • Daha çok veri -> gerçek ortalama
ID Keyif [1-10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
R ile A/B Testi

Haydi pratik yapalım!

R ile A/B Testi

Preparing Video For Download...