A/B Testing

ทำความเข้าใจ Data Science

Lis Sulmont

Curriculum Manager, DataCamp

กระบวนการทำงานด้าน Data Science

กระบวนการทำงานด้าน Data Science

การทดลองใน Data Science คืออะไร?

การทดลองช่วยขับเคลื่อนการตัดสินใจและสรุปผล

ตั้งคำถาม
ตั้งสมมติฐาน
เก็บรวบรวมข้อมูล
ทดสอบสมมติฐานด้วยการทดสอบทางสถิติ
แปลผลลัพธ์

กรณีศึกษา: ชื่อบล็อกโพสต์ใดดีกว่ากัน?

ตั้งคำถาม: ชื่อบล็อก A หรือ B ได้รับคลิกมากกว่ากัน?

ตั้งสมมติฐาน: ชื่อบล็อก A และ B ได้รับคลิกในจำนวนที่เท่ากัน

เก็บรวบรวมข้อมูล:

ผู้ใช้ 50% จะเห็นชื่อบล็อก A
ผู้ใช้ 50% จะเห็นชื่อบล็อก B
ติดตามอัตราคลิกจนถึงขนาดตัวอย่างที่กำหนด

กรณีศึกษา: ชื่อบล็อกโพสต์ใดดีกว่ากัน?

ทดสอบสมมติฐานด้วยการทดสอบทางสถิติ: ความแตกต่างของอัตราคลิกระหว่างชื่อทั้งสองมีนัยสำคัญหรือไม่?

แปลผลลัพธ์:

เลือกชื่อบล็อก
หรือตั้งคำถามเพิ่มเติมและออกแบบการทดลองใหม่!

A/B Testing คืออะไร?

หรือเรียกว่า Champion/Challenger Testing

ทบทวนคำศัพท์

ขนาดตัวอย่าง: จำนวนจุดข้อมูลที่ใช้
นัยสำคัญทางสถิติ: ผลลัพธ์ที่ไม่น่าเกิดจากความบังเอิญ
- ภายใต้ข้อสมมติของโมเดลสถิติ
- ใช้ การทดสอบทางสถิติ เพื่อคำนวณ:
  - เช่น t-test, Z-test, ANOVA, Chi-square test

ขั้นตอนของ A/B Testing

เลือกตัวชี้วัดที่จะติดตาม
คำนวณขนาดตัวอย่าง
ดำเนินการทดลอง
ตรวจสอบนัยสำคัญ

เลือกตัวชี้วัด: อัตราคลิกผ่าน (click-through rate)

ตัวชี้วัด Baseline สำหรับวัดการเปลี่ยนแปลง
- ความถี่โดยทั่วไปที่ผู้ใช้คลิกลิงก์บล็อกของเรา
หากอัตราสูงหรือต่ำกว่า 50% มาก จำเป็นต้องใช้ขนาดตัวอย่างที่ใหญ่ขึ้น
- อัตราคลิกมักมีค่าน้อย (<3%)

ขนาดตัวอย่างที่ใหญ่ขึ้นช่วยให้ตรวจจับการเปลี่ยนแปลงเล็กน้อยได้

ดำเนินการทดลอง

ตรวจสอบนัยสำคัญ

ถ้าผลลัพธ์ไม่มีนัยสำคัญจะเป็นอย่างไร?

ความแตกต่างน้อยกว่าค่าขีดแบ่งที่กำหนด
การทดสอบต่อไปไม่ช่วยให้ผลดีขึ้น
อาจยังมีความแตกต่างอยู่ แต่มีขนาดเล็กและไม่มีนัยสำคัญสำหรับเรา

มาฝึกกันเถอะ!

ทำความเข้าใจ Data Science

Preparing Video For Download...