Thực hành tốt và chủ đề nâng cao trong A/B Testing

A/B Testing bằng Python

Moe Lotfy, PhD

Principal Data Science Manager

Thực hành tốt

Tránh nhìn lén

  • Không ra quyết định khi chưa đạt cỡ mẫu thiết kế; việc “nhìn lén” làm tăng sai số như so sánh nhiều lần.

Tính đến hiệu ứng ngày trong tuần

  • Người dùng có thể hành vi khác nhau cuối tuần vs. ngày thường; nên bao quát hành vi tổng thể.
A/B Testing bằng Python

Thực hành tốt

  • Đơn giản/khả thi:
    • Có cần xây đủ tính năng không?
    • Kiểm thử “painted door”
  • Cô lập
    • Chỉ thay đổi một biến để quy trách tác động.
A/B Testing bằng Python

Chủ đề nâng cao

  • Thiết kế đa nhân tố và hiệu ứng tương tác
    • Đo lường riêng lẻ tác động của từng biến
    • Phát hiện hiệu ứng tương tác/hiệp lực
  • A/B testing theo Bayes
    • Kết hợp dữ liệu trước vào thí nghiệm hiện tại
    • Xem tham số tổng thể như phân phối
    • Diễn giải kết quả trực quan hơn
  • Vi phạm SUTVA và hiệu ứng mạng
    • Phân nhóm của một người dùng ảnh hưởng người khác
    • Phổ biến trong A/B test mạng xã hội
    • Một cách: gán theo cụm
A/B Testing bằng Python

Ayo berlatih!

A/B Testing bằng Python

Preparing Video For Download...