A/B testing

Statistical Thinking in Python (ตอนที่ 2)

Justin Bois

Lecturer at the California Institute of Technology

การออกแบบใหม่มีประสิทธิภาพหรือไม่?

ch4-1.002.png

การออกแบบใหม่มีประสิทธิภาพหรือไม่?

ch4-1.003.png

สมมติฐานว่าง

อัตราการคลิกผ่านไม่ได้รับผลจากการออกแบบใหม่

การทดสอบ Permutation สำหรับการคลิกผ่าน

import numpy as np
# clickthrough_A, clickthrough_B: arr. of 1s and 0s

def diff_frac(data_A, data_B):
        frac_A = np.sum(data_A) / len(data_A)
        frac_B = np.sum(data_B) / len(data_B)
        return frac_B - frac_A

diff_frac_obs = diff_frac(clickthrough_A,
                          clickthrough_B)

การทดสอบ Permutation สำหรับการคลิกผ่าน

perm_replicates = np.empty(10000)
for i in range(10000):
     perm_replicates[i] = permutation_replicate(
                clickthrough_A, clickthrough_B, diff_frac)

p_value = np.sum(perm_replicates >= diff_frac_obs) / 10000

p_value

0.016

A/B test

องค์กรใช้เพื่อตรวจสอบว่าการเปลี่ยนแปลงกลยุทธ์ให้ผลลัพธ์ที่ดีขึ้นหรือไม่

สมมติฐานว่างของ A/B test

ค่าสถิติทดสอบไม่ได้รับผลจากการเปลี่ยนแปลง

มาฝึกกันเถอะ!

Statistical Thinking in Python (ตอนที่ 2)