ข้อพิจารณาในการทดสอบ A/B

A/B Testing ใน R

Lauryn Burleigh

Data Scientist

ข้อพิจารณาในการทดสอบ A/B

ใช้ A/B เมื่อ...

  • กลุ่มตัวอย่าง/ทราฟฟิกมีนัยสำคัญ
  • มีเวลาเพียงพอสำหรับการออกแบบและทดสอบ
  • มีสมมติฐานที่ชัดเจน

ข้อพิจารณาในการทดสอบ A/B

  • ความผันผวนของข้อมูล
  • จำนวนตัวแปร
  • การถดถอยสู่ค่าเฉลี่ย
A/B Testing ใน R

ความผันผวนในข้อมูล

  • ต้องการข้อมูลที่เป็นตัวแทนของประชากรทั้งหมดเพื่อความแม่นยำ
  • ความผันผวนส่งผลต่อผลลัพธ์
    • การเปลี่ยนแปลงกลุ่มตัวอย่าง
    • วันในสัปดาห์
    • วันหยุด
    • ความสนใจของสาธารณะ

กราฟเส้นแสดงผู้ใช้ที่กลับมาลดลงในตอนแรกแล้วฟื้นตัว และผู้ใช้ใหม่เพิ่มขึ้น

ยอดขายเพิ่มขึ้นในช่วงวันหยุดฤดูหนาว

ยอดขายเพิ่มขึ้นในช่วงลดราคาแต่ลดลงนอกช่วงลดราคา

A/B Testing ใน R

ตัวอย่างความผันผวน

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

ฮิสโทแกรมของข้อมูล 10 จุดที่กระจายทั่วแกน x

ฮิสโทแกรมของข้อมูล 10 จุดที่มีแท่งอยู่ที่จุดเริ่มต้น กลาง และปลายแกน x

ฮิสโทแกรมของข้อมูล 10 จุดที่มีแท่งส่วนใหญ่อยู่กลางแกน x

A/B Testing ใน R

จำนวนตัวแปร

  • ตัวแปรเดียว - อุดมคติ
  • หน้าเดียว/ตัวแปรเดียว
    • ประเมินหน้า/เงื่อนไขแต่ละอย่าง
    • ชีส: ตัวแปรควบคุม
    • เปปเปอโรนี: ตัวแปรทดสอบ
  • สองหน้า/หลายตัวแปร
    • ประเมินการผสมผสาน
    • คู่: พริกหยวก & หัวหอม, มะกอก & กระเทียม
    • ไม่มีตัวควบคุม

พิซซ่าชีสและเปปเปอโรนีแบบหน้าเดียวกลุ่มละ 3 คน และพิซซ่าพริกหยวกกับหัวหอมและมะกอกกับกระเทียมแบบสองหน้ากลุ่มละ 3 คน

A/B Testing ใน R

ตัวแปรและ Type I error

  • ตัวแปรมากขึ้น -> การวิเคราะห์มากขึ้น
    • อัตรา Type I error สูงขึ้น
  • ค่านัยสำคัญทั่วไป: 5%
    • alpha: 0.05
    • โอกาส 5% ที่จะเกิด Type I error
  • ระดับความเชื่อมั่น: 100 - นัยสำคัญ
    • ใช้คำนวณ family-wise error rate
      • 1 - ความน่าจะเป็นที่ไม่มี false positive

คำนวณ family-wise error rate

  • ค่านัยสำคัญ: 5%
  • ระดับความเชื่อมั่น: 95%
  • จำนวนการทดสอบ: 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

A/B Testing ใน R

การถดถอยสู่ค่าเฉลี่ย

  • ค่าสุดขีดจะเฉลี่ยออกเมื่อมีข้อมูลเพิ่มขึ้น
  • ความเสี่ยงต่อ Type I error
  • เปรียบเทียบกับกลุ่มควบคุม

กราฟเส้นแสดงการส่งใหม่จำนวนมากในตอนแรก แต่ถดถอยสู่ค่าเฉลี่ยเมื่อเวลาผ่านไป

กราฟเส้นแสดงการส่งที่ไม่เปลี่ยนแปลงของปุ่มเดิม เทียบกับการส่งใหม่จำนวนมากหลังเปลี่ยน ขณะที่กลุ่มที่เปลี่ยนถดถอยสู่ค่าเฉลี่ยจนใกล้เคียงกับข้อมูลที่ไม่เปลี่ยนแปลง

A/B Testing ใน R

การถดถอยสู่ค่าเฉลี่ย

  • ขนาดตัวอย่างเล็กทำให้ผลไม่แม่นยำ
  • ความเสี่ยงต่อ Type I error
  • ข้อมูลมากขึ้น -> ค่าเฉลี่ยที่แท้จริง
ID ความสนุก [1-10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
A/B Testing ใน R

มาฝึกกันเถอะ!

A/B Testing ใน R

Preparing Video For Download...