Các yếu tố trong A/B testing

A/B Testing bằng R

Lauryn Burleigh

Data Scientist

Cân nhắc khi A/B testing

Chỉ dùng A/B nếu...

Cân nhắc khi A/B test

Để chính xác, cần mẫu đại diện cho toàn bộ quần thể
Dao động ảnh hưởng kết quả
- Thay đổi ở đối tượng
- Ngày trong tuần
- Ngày lễ
- Dư luận

Biểu đồ đường: người dùng quay lại giảm rồi tăng lại, người dùng mới tăng.

Số đơn hàng tăng vào dịp lễ mùa đông.

Số đơn hàng tăng trong thời gian khuyến mãi và giảm ngoài thời gian đó.

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Biểu đồ tần suất của 10 điểm dữ liệu rải khắp trục x.

Biểu đồ tần suất của 10 điểm dữ liệu với cột ở đầu, giữa và cuối trục x.

Biểu đồ tần suất của 10 điểm dữ liệu với cột chủ yếu ở giữa trục x.

Một biến - lý tưởng
Một topping/một biến
- Đánh giá từng topping/điều kiện
- Phô mai: biến đối chứng
- Pepperoni: biến topping
Hai topping/nhiều biến
- Đánh giá tổ hợp
- Cặp: ớt chuông & hành tây, ô liu & tỏi
- Không có đối chứng

Pizza phô mai và pepperoni (một topping) với 3 người ở mỗi nhóm và pizza hai topping (ớt chuông với hành tây, ô liu với tỏi) với 3 người ở mỗi nhóm.

Nhiều biến -> nhiều phân tích
- Tăng lỗi loại I
Mức ý nghĩa thường dùng: 5%
- alpha: 0.05
- Xác suất 5% mắc lỗi loại I
Mức tin cậy: 100 - mức ý nghĩa
- Dùng để tính FWER (family-wise error rate)
  - 1 - Xác suất không có dương tính giả

Tính family-wise error rate

1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

Biểu đồ đường cho thấy nhiều lượt gửi mới lúc đầu nhưng dần hồi quy về trung bình theo thời gian.

Biểu đồ đường cho thấy nút gốc không đổi, còn nhóm thay đổi ban đầu tăng gửi mới rồi hồi quy về trung bình và gặp đường không đổi.

mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666

A/B Testing bằng R