Thiết kế thực nghiệm: thiết lập tham số kiểm thử

A/B Testing bằng Python

Moe Lotfy, PhD

Principal Data Science Manager

Tham số phân phối

  • d tuân theo phân phối chuẩn Công thức H0 và giả thuyết đối

  • Nếu chênh lệch quan sát 'd' là hiếm:

    • bác bỏ giả thuyết Không
  • Phân phối của giả thuyết Không vs đối thuyết

Biểu diễn đồ thị các phân phối của giả thuyết Không và đối thuyết

A/B Testing bằng Python

Tham số thiết kế và các loại lỗi

  • Power (1- $\beta$)
    • $\beta$ = lỗi loại II = Âm giả
    • Thường đặt 80%
  • MDE (Minimum Detectable Effect)
    • Chênh lệch nhỏ nhất cần phát hiện

Ma trận các loại lỗi

Biểu diễn đồ họa các tham số thí nghiệm

A/B Testing bằng Python

Tham số thiết kế và các loại lỗi

  • Mức ý nghĩa $\alpha$
    • $\alpha$ = lỗi loại I = Dương giả
    • Thường đặt 5%
  • Giá trị p (p-value)
    • Xác suất thu được kết quả khi giả định giả thuyết Không là đúng.
    • Nếu p-value < $\alpha$
      • Bác bỏ giả thuyết Không
    • Nếu p-value > $\alpha$
      • Không bác bỏ giả thuyết Không

Ma trận các loại lỗi

Biểu diễn đồ họa các tham số thí nghiệm

A/B Testing bằng Python

Phép so sánh tham số thí nghiệm

Phép so sánh để giải thích độ mạnh thống kê và tham số:

  1. Thời gian ở cửa hàng = kích thước mẫu/thời lượng thí nghiệm

  2. Cỡ gói snack = kích thước hiệu ứng/MDE

  3. Độ sạch/gọn của cửa hàng = phương sai dữ liệu
A/B Testing bằng Python

Ayo berlatih!

A/B Testing bằng Python

Preparing Video For Download...