A/B testing

การวิเคราะห์ข้อมูลแบบเบย์เซียนด้วย Python

Michal Oleszak

Machine Learning Engineer

A/B testing

การทดลองแบบสุ่ม: แบ่งผู้ใช้ออกเป็นสองกลุ่ม (A และ B)

ผู้ใช้สองกลุ่ม

¹ Picture: adapted from https://commons.wikimedia.org/wiki/File:A-B_testing_simple_example.png

A/B testing

การทดลองแบบสุ่ม: แบ่งผู้ใช้ออกเป็นสองกลุ่ม (A และ B)
แสดงเนื้อหาที่ต่างกันให้แต่ละกลุ่ม (เช่น รูปแบบเว็บไซต์)

ผู้ใช้สองกลุ่มที่เห็นรูปแบบเว็บไซต์ต่างกัน

¹ Picture: adapted from https://commons.wikimedia.org/wiki/File:A-B_testing_simple_example.png

A/B testing

การทดลองแบบสุ่ม: แบ่งผู้ใช้ออกเป็นสองกลุ่ม (A และ B)
แสดงเนื้อหาที่ต่างกันให้แต่ละกลุ่ม (เช่น รูปแบบเว็บไซต์)
เปรียบเทียบว่ากลุ่มใดทำคะแนนสูงกว่าในตัวชี้วัดที่กำหนด (เช่น อัตราการคลิก)

ผู้ใช้สองกลุ่มที่เห็นรูปแบบเว็บไซต์ต่างกัน โดยกลุ่มหนึ่งมีอัตราการคลิกสูงกว่า

¹ Picture: adapted from https://commons.wikimedia.org/wiki/File:A-B_testing_simple_example.png

A/B testing: แนวทาง Frequentist

อิงตามการทดสอบสมมติฐาน
ตรวจสอบว่า A และ B มีประสิทธิภาพเท่ากันหรือไม่
ไม่บอกว่า A ดีกว่า B มากแค่ไหน

A/B testing: แนวทาง Bayesian

คำนวณอัตราการคลิก posterior ของรูปแบบเว็บไซต์ A และ B แล้วเปรียบเทียบกัน
คำนวณความน่าจะเป็นโดยตรงว่า A ดีกว่า B
วัดปริมาณว่าดีกว่ามากแค่ไหน
ประเมิน expected loss หากตัดสินใจผิด

A/B testing: แนวทาง Bayesian

เมื่อผู้ใช้เข้าเว็บไซต์ จะเกิดสองกรณี:
- คลิก (success)
- ไม่คลิก (failure)
ใช้ binomial distribution! (ความน่าจะเป็นของ success = อัตราการคลิก)

จำลอง beta posterior

ถ้า prior คือ $Beta(a, b)$ แล้ว posterior จะเป็น $Beta(x, y)$ โดยที่:

$x = \text{NumberOfSuccesses} + a$

$y = \text{NumberOfObservations} - \text{NumberOfSuccesses} + b$

def simulate_beta_posterior(trials, beta_prior_a, beta_prior_b):
    num_successes = np.sum(trials)
    posterior_draws = np.random.beta(
      num_successes + beta_prior_a, 
      len(trials) - num_successes + beta_prior_b, 
      10000
    )
    return posterior_draws

เปรียบเทียบ posteriors

รายการ 1 (คลิก) และ 0 (ไม่คลิก):

print(A_clicks)
print(B_clicks)

[0 1 1 0 0 0 0 0 0 0 1 ... ]
[0 0 0 1 0 0 0 1 1 0 1 ... ]

จำลอง posterior draws ของแต่ละรูปแบบ:

A_posterior = simulate_beta_posterior(A_clicks, 1, 1)
B_posterior = simulate_beta_posterior(B_clicks, 1, 1)

พล็อต posteriors:

sns.kdeplot(A_posterior, shade=True, label="A")
sns.kdeplot(B_posterior, shade=True, label="B")
plt.show()

กราฟความหนาแน่นของ posterior สองเส้นที่ทับซ้อนกันบางส่วน

เปรียบเทียบ posteriors

ความแตกต่างของ posterior ระหว่าง B และ A:

diff = B_posterior - A_posterior

sns.kdeplot(diff, shade=True, label="difference: A-B")
plt.show()

กราฟความหนาแน่นที่มีมวลความน่าจะเป็นเกือบทั้งหมดอยู่เหนือศูนย์

ความน่าจะเป็นที่ B ดีกว่า:

(diff > 0).mean()

0.9639

Expected loss

ถ้าเลือกใช้เว็บไซต์เวอร์ชันที่แย่กว่า จะเสียการคลิกไปเท่าไร?

# Difference (B-A) when A is better 
loss = diff[diff < 0]


# Expected (average) loss
expected_loss = loss.mean()
print(expected_loss)

-0.0077850237030215215

ข้อมูลโฆษณา

print(ads)

                               user_id   product site_version                 time  banner_clicked
0     f500b9f27ac611426935de6f7a52b71f   clothes      desktop  2019-01-28 16:47:08               0
1     cb4347c030a063c63a555a354984562f  sneakers       mobile  2019-03-31 17:34:59               0
2     89cec38a654319548af585f4c1c76b51   clothes       mobile  2019-02-06 09:22:50               0
3     1d4ea406d45686bdbb49476576a1a985  sneakers       mobile  2019-05-23 08:07:07               0
4     d14b9468a1f9a405fa801a64920367fe   clothes       mobile  2019-01-28 08:16:37               0
...                                ...       ...          ...                  ...             ...
9995  7ca28ccde263a675d7ab7060e9ed0eca   clothes       mobile  2019-02-02 08:19:39               0
9996  7e2ec2631332c6c4527a1b78c7ede789   clothes       mobile  2019-04-04 03:27:05               0
9997  3b828da744e5785f1e67b5df3fda5571   clothes       mobile  2019-04-15 15:59:06               0
9998  6cce0527245bcc8519d698af2224c04a   clothes       mobile  2019-05-21 20:43:21               0
9999  8cf87a02f96327a1a8a93814f34d0d0c  sneakers       mobile  2019-03-02 21:27:57               0

มาทำ A/B test กันเถอะ!

การวิเคราะห์ข้อมูลแบบเบย์เซียนด้วย Python