A/B test sonuçlarının raporlanması

R ile A/B Testi

Lauryn Burleigh

Data Scientist

A/B görselleştirmeleri

Sonuçları veri ekibi dışına ilet

Net görselleştirmeler
Bulguları doğru aktar

A/B görselleştirmeleri

Çubuk grafikler

Grup ortalamalarını karşılaştırma hipotezi
- t-test

Görselleştirir:

Ortalama
Hata çubukları
- Standart sapma
- Standart hata
- Güven aralığı

X ekseninde pembe Pepperoni pizzayı yeme süresi ve mavi Cheese pizzayı yeme süresi ortalamasını gösteren bir çubuk grafiği. Her çubuk için hata çubukları çizilmiş.

Çubuk grafik veri biçimi

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06

Çubuk grafik kullanımı

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

X ekseninde pembe mevcut web tasarımının ve mavi yeni web tasarım seçeneğinin ortalamasını gösteren bir çubuk grafiği. Her çubuk için hata çubukları çizilmiş.

Kutu grafikleri

Grup ortancalarını karşılaştırma
- Mann-Whitney U
- Ki-kare
- Fisher'in Kesin
- t-testleri
Alt kutu sınırı: verilerin %25'i bunun altında
Üst kutu sınırı: verilerin %75'i bunun altında
Bıyıklar: en yüksek ve en düşük değerler
- Aykırılar hariç
Aykırılar: bıyıkların dışındaki noktalar

Pembe Pepperoni pizzayı yeme süresi ve mavi Cheese pizzayı yeme süresi için bir kutu grafiği.

Kutu grafik kullanımı

Uzun formatta veri
Araştırmacılar, istatistikçiler veya normal olmayan dağılımları değerlendirmek için ideal

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Pembe Pepperoni pizzayı yeme süresi ve mavi Cheese pizzayı yeme süresi için bir kutu grafiği.

Saçılım grafikleri

Değişkenler arası ilişki
- Korelasyonlar
Her nokta
Eğilim: yön ve hız

X ekseninde pizza yeme süresi ve y ekseninde pizzadan alınan keyfi gösteren bir saçılım grafiği.

Saçılım grafiği kullanımı

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

X ekseninde zaman, y ekseninde keyif olan; her nokta Pepperoni ise pembe, Cheese ise mavi renkte olan pozitif korelasyonlu bir saçılım grafiği.

Saçılım grafiği kullanımı

Tek bir grubu değerlendirmek için alt kümeye ayır

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

Yalnızca Pepperoni pizzaya ait; x ekseninde zaman ve y ekseninde keyif olan pozitif korelasyonlu bir saçılım grafiği.

Veri sunumu

Kitlenin istatistik geçmişi yoksa:

İstatistik değerler bilgi vermez
Gerçek dünya bulgularını kullan
Test sonucunu ver
Güç analizi
Hata çubukları

Veri sonuçlarının iki kişiye sunulduğu stok görsel.

Veri sunumu örneği

Sonuçlar:

Anlamlı t-testi
Güç = 0.9

Sunum:

Anlamlı bir fark bulundu
Pepperoni pizza, Cheese'ten daha hızlı yendi
Sonuçlar güvenilir
Büyük değişkenlik yok (hata çubukları)

X ekseninde pembe mevcut web tasarımının ve mavi yeni web tasarım seçeneğinin ortalamasını gösteren bir çubuk grafiği. Her çubuk için hata çubukları çizilmiş.

Hadi pratik yapalım!

R ile A/B Testi