Melaporkan hasil uji A/B

Pengujian A/B di R

Lauryn Burleigh

Data Scientist

Visualisasi A/B

 

  • Kirimkan kesimpulan ke luar tim data

 

  • Visualisasi yang jelas
  • Sampaikan temuan dengan akurat

Visualisasi A/B

Pengujian A/B di R

Plot batang

  • Hipotesis membandingkan mean antar grup
    • uji t

Memvisualisasikan:

  • Mean
  • Error bar
    • Simpangan baku
    • Galat baku
    • Interval kepercayaan

Plot batang yang menampilkan rata-rata waktu makan pizza Pepperoni berwarna merah muda dan waktu makan pizza Keju berwarna biru pada sumbu-x. Setiap batang memiliki error bar.

Pengujian A/B di R

Pemformatan data untuk plot batang

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06
Pengujian A/B di R

Menggunakan plot batang

 

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Plot batang yang menampilkan rata-rata desain web saat ini berwarna merah muda dan opsi desain baru berwarna biru pada sumbu-x. Setiap batang memiliki error bar.

Pengujian A/B di R

Box plot

  • Bandingkan median grup
    • Mann-Whitney U
    • Chi-square
    • Fisher's Exact
    • uji t
  • Batas kotak bawah: 25% data di bawahnya
  • Batas kotak atas: 75% data di bawahnya
  • Whisker: nilai tertinggi dan terendah
    • Pencilan dikecualikan
  • Pencilan: titik di luar whisker

Box plot waktu makan pizza Pepperoni berwarna merah muda dan waktu makan pizza Keju berwarna biru.

Pengujian A/B di R

Menggunakan box plot

  • Data format panjang (long)
  • Ideal untuk peneliti/statistik atau menilai distribusi non-normal

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Box plot waktu makan pizza Pepperoni berwarna merah muda dan waktu makan pizza Keju berwarna biru.

Pengujian A/B di R

Scatter plot

  • Hubungan antar variabel
    • Korelasi
  • Setiap titik
  • Tren: arah dan laju

Scatter plot dengan waktu makan pizza pada sumbu-x dan tingkat kenikmatan pada sumbu-y.

Pengujian A/B di R

Menggunakan scatter plot

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

 

Scatter plot korelasi positif dengan waktu pada sumbu-x dan kenikmatan pada sumbu-y; tiap titik berwarna merah muda untuk Pepperoni dan biru untuk Keju.

Pengujian A/B di R

Menggunakan scatter plot

  • Subset data untuk menilai satu grup

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

Scatter plot korelasi positif dengan waktu pada sumbu-x dan kenikmatan pada sumbu-y hanya untuk pizza Pepperoni.

Pengujian A/B di R

Menyajikan data

Audiens tanpa latar belakang statistik:

  • Nilai statistik tidak informatif
  • Gunakan temuan dunia nyata
  • Kesimpulan uji
  • Analisis daya (power)
  • Error bar

Gambar stok penyajian hasil data kepada dua orang.

Pengujian A/B di R

Contoh penyajian data

Hasil:

  • uji t signifikan
  • Power = 0,9

Presentasi:

  • Ada perbedaan signifikan
  • Pizza Pepperoni dimakan lebih cepat daripada Keju
  • Hasil andal
  • Variasi kecil (error bar)

Plot batang yang menampilkan rata-rata desain web saat ini berwarna merah muda dan opsi desain baru berwarna biru pada sumbu-x. Setiap batang memiliki error bar.

Pengujian A/B di R

Ayo berlatih!

Pengujian A/B di R

Preparing Video For Download...