A/B testing dan desain

Pengujian A/B di R

Lauryn Burleigh

Data Scientist

A/B testing

  • Teknik statistik
  • Keputusan berbasis data
  • Uji perbedaan dan hubungan
  • Cocok untuk:
    • Optimasi kampanye pemasaran, uji situs dan iklan

Dalam kursus ini:

  • Analisis data A/B
  • Buat keputusan dan prediksi

 

Ilustrasi A/B test dengan dua tablet mirip dan persentase berbeda.

Pengujian A/B di R

Desain A/B

  • Dampak suatu kondisi:
    • Waktu makan pizza Cheese atau Pepperoni

 

  • Grup A: pizza Cheese
  • Grup B: pizza Pepperoni
  • Desain antar-subjek

Satu subjek hanya di satu kelompok.

Pengujian A/B di R

Kelompok kontrol

 

 

Grup A Teman Charlie, Sam, dan Hunter memilih pizza Cheese; menjadi grup A.

  • Kelompok kontrol

 

 

Grup B Teman Jessie, Skylar, dan Elliot memilih pizza Pepperoni; menjadi grup B.

  • Kelompok eksperimen
Pengujian A/B di R

Organisasi data frame

Format lebar

  • Kelompok di kolom berbeda
  • NA karena desain antar-subjek
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Format panjang

  • Kelompok di satu kolom
  • Format pilihan utama
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
Pengujian A/B di R

Format lebar ke panjang

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
Pengujian A/B di R

Visualisasi pengelompokan

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Histogram distribusi kecepatan makan Pepperoni lebih lebar dan Cheese lebih sempit.

Pengujian A/B di R

Pisahkan pengelompokan

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Histogram kecepatan makan Pepperoni dengan mean 7 dan Cheese dengan mean 5.

Pengujian A/B di R

Hipotesis A/B test

Bandingkan ukuran antar kelompok

  • Pizza Cheese dinikmati berbeda dari Pepperoni
  • Pizza Cheese dimakan dengan kecepatan berbeda dari Pepperoni

Perbedaan antar kondisi

Hubungan ukuran dalam kelompok

  • Kenikmatan terkait kecepatan makan
  • Di Cheese dan Pepperoni: kenikmatan terkait kecepatan makan pizza
  • Satu kelompok (Cheese): kenikmatan Cheese terkait kecepatan makan Cheese

Tren antar ukuran

Pengujian A/B di R

Ayo berlatih!

Pengujian A/B di R

Preparing Video For Download...