Pertimbangan dalam A/B testing

Pengujian A/B di R

Lauryn Burleigh

Data Scientist

Pertimbangan uji A/B

Hanya gunakan A/B jika...

  • Subjek/traffic memadai
  • Ada waktu untuk desain dan pengujian
  • Hipotesis jelas

Pertimbangan uji A/B

  • Fluktuasi data
  • Jumlah variabel
  • Regresi ke rata-rata
Pengujian A/B di R

Fluktuasi dalam data

  • Untuk akurat, butuh representasi populasi penuh
  • Fluktuasi memengaruhi hasil
    • Perubahan subjek
    • Hari dalam minggu
    • Hari libur
    • Opini publik

Plot garis: pengguna kembali awalnya turun lalu pulih; pengguna baru naik.

Jumlah penjualan naik saat liburan musim dingin.

Penjualan naik saat ada diskon, turun di luar periode diskon.

Pengujian A/B di R

Contoh fluktuasi

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Histogram 10 titik data tersebar di seluruh sumbu x.

Histogram 10 titik data dengan batang di awal, tengah, dan akhir sumbu x.

Histogram 10 titik data dengan batang terutama di tengah sumbu x.

Pengujian A/B di R

Jumlah variabel

  • Satu variabel - ideal
  • Satu topping/satu variabel
    • Menilai topping/kondisi tunggal
    • Keju: variabel kontrol
    • Pepperoni: variabel topping
  • Dua topping/banyak variabel
    • Menilai kombinasi
    • Pasangan: paprika & bawang, zaitun & bawang putih
    • Tanpa kontrol

Pizza keju dan pepperoni (satu topping) dengan 3 subjek per grup, dan pizza dua topping: paprika dengan bawang, zaitun dengan bawang putih, masing-masing 3 subjek.

Pengujian A/B di R

Variabel dan galat Tipe I

  • Lebih banyak variabel -> lebih banyak analisis
    • Risiko galat Tipe I lebih besar
  • Taraf signifikansi umum: 5%
    • alpha: 0.05
    • Peluang 5% terjadi galat Tipe I
  • Tingkat kepercayaan: 100 - signifikansi
    • Untuk menghitung family-wise error rate
      • 1 - Peluang tanpa positif palsu

Hitung family-wise error rate

  • Signifikansi: 5%
  • Tingkat kepercayaan: 95%
  • Jumlah uji: 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

Pengujian A/B di R

Regresi ke rata-rata

  • Nilai ekstrem merata saat data bertambah
  • Risiko galat Tipe I
  • Bandingkan dengan grup kontrol

Plot garis menunjukkan banyak kiriman baru di awal lalu kembali ke rata-rata seiring waktu.

Plot garis menunjukkan tombol asli stabil, sedangkan grup perubahan awalnya naik lalu kembali ke rata-rata hingga menyamai data tanpa perubahan.

Pengujian A/B di R

Regresi ke rata-rata

  • Sampel kecil kurang akurat
  • Risiko galat Tipe I
  • Lebih banyak data -> mendekati mean sebenarnya
ID Tingkat kesenangan [1-10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
Pengujian A/B di R

Ayo berlatih!

Pengujian A/B di R

Preparing Video For Download...