แนวทางปฏิบัติที่ดีที่สุดสำหรับ A/B Testing และบทนำหัวข้อขั้นสูง

A/B Testing ด้วย Python

Moe Lotfy, PhD

Principal Data Science Manager

แนวทางปฏิบัติที่ดี

หลีกเลี่ยงการดูผลก่อนเวลา

  • อย่าตัดสินใจจากผลลัพธ์ก่อนเก็บตัวอย่างครบตามที่ออกแบบไว้ เพราะจะทำให้อัตราข้อผิดพลาดสูงขึ้น คล้ายกับปัญหาการเปรียบเทียบหลายครั้ง

คำนึงถึงผลของวันในสัปดาห์

  • พฤติกรรมของผู้ใช้ในวันหยุดสุดสัปดาห์อาจต่างจากวันทำงาน ดังนั้นควรรวมพฤติกรรมโดยรวมไว้ด้วย
A/B Testing ด้วย Python

แนวทางปฏิบัติที่ดี

  • ความเรียบง่าย/ความเป็นไปได้:
    • จำเป็นต้องสร้างฟีเจอร์เต็มรูปแบบหรือไม่?
    • การทดสอบแบบ Painted door
  • การแยกตัวแปร
    • เปลี่ยนตัวแปรทีละตัวเพื่อระบุผลกระทบได้อย่างแม่นยำ
A/B Testing ด้วย Python

หัวข้อขั้นสูง

  • การออกแบบหลายปัจจัยและผลปฏิสัมพันธ์
    • วัดผลแยกของตัวแปรแต่ละตัว
    • เผยให้เห็นผลปฏิสัมพันธ์/ผลเสริมกัน
  • Bayesian A/B Testing
    • นำข้อมูลเดิมมาใช้ประกอบการทดลอง
    • มองพารามิเตอร์ของประชากรเป็นการกระจายตัว
    • เข้าใจผลการทดสอบได้ง่ายและเป็นธรรมชาติมากขึ้น
  • การละเมิด SUTVA และผลกระทบของเครือข่าย
    • การกำหนดกลุ่มของผู้ใช้คนหนึ่งส่งผลต่อผู้ใช้คนอื่น
    • พบบ่อยใน A/B Testing บนโซเชียลเน็ตเวิร์ก
    • วิธีแก้ไขหนึ่ง: การกำหนดกลุ่มแบบคลัสเตอร์
A/B Testing ด้วย Python

มาฝึกกันเถอะ!

A/B Testing ด้วย Python

Preparing Video For Download...