การออกแบบการทดลอง: การกำหนดพารามิเตอร์สำหรับการทดสอบ

A/B Testing ด้วย Python

Moe Lotfy, PhD

Principal Data Science Manager

พารามิเตอร์การแจกแจง

  • d มีการแจกแจงแบบปกติ สูตรทางคณิตศาสตร์ของสมมติฐานหลักและสมมติฐานทางเลือก

  • หากความแตกต่าง 'd' ที่สังเกตได้มีโอกาสเกิดขึ้นน้อย:

    • ปฏิเสธสมมติฐานหลัก
  • การแจกแจงของสมมติฐานหลักและสมมติฐานทางเลือก

การแสดงกราฟของการแจกแจงสมมติฐานหลักและสมมติฐานทางเลือก

A/B Testing ด้วย Python

พารามิเตอร์การออกแบบและประเภทของความผิดพลาด

  • Power (1- $\beta$)
    • $\beta$ = ความผิดพลาดประเภท II = False negative
    • โดยทั่วไปกำหนดไว้ที่ 80%
  • Minimum Detectable Effect (MDE)
    • ความแตกต่างที่เล็กที่สุดที่ต้องการตรวจจับ

เมทริกซ์ประเภทของความผิดพลาด

การแสดงกราฟของพารามิเตอร์การทดลอง

A/B Testing ด้วย Python

พารามิเตอร์การออกแบบและประเภทของความผิดพลาด

  • ระดับนัยสำคัญ $\alpha$
    • $\alpha$ = ความผิดพลาดประเภท I = False positive
    • โดยทั่วไปกำหนดไว้ที่ 5%
  • P-value
    • ความน่าจะเป็นที่จะได้ผลลัพธ์นั้น โดยสมมติว่าสมมติฐานหลักเป็นจริง
    • ถ้า p-value < $\alpha$
      • ปฏิเสธสมมติฐานหลัก
    • ถ้า p-value > $\alpha$
      • ไม่ปฏิเสธสมมติฐานหลัก

เมทริกซ์ประเภทของความผิดพลาด

การแสดงกราฟของพารามิเตอร์การทดลอง

A/B Testing ด้วย Python

อุปมาของพารามิเตอร์การทดลอง

อุปมาอุปไมยสำหรับอธิบาย Statistical Power และพารามิเตอร์:

  1. เวลาในร้าน = ขนาดตัวอย่าง/ระยะเวลาการทดลอง
  2. ขนาดถุงมันฝรั่ง = ขนาดของผล/MDE
  3. ความสะอาด/การจัดเรียงของร้าน = ความแปรปรวนของข้อมูล

อุปมาของ Statistical Power

A/B Testing ด้วย Python

มาฝึกกันเถอะ!

A/B Testing ด้วย Python

Preparing Video For Download...