A/B testi

Python ile Bayesçi Veri Analizi

Michal Oleszak

Machine Learning Engineer

A/B testi

Rastgeleleştirilmiş deney: kullanıcıları iki gruba ayırın (A ve B)

İki kullanıcı grubu.

¹ Görsel: uyarlanmıştır https://commons.wikimedia.org/wiki/File:A-B_testing_simple_example.png

A/B testi

Rastgeleleştirilmiş deney: kullanıcıları iki gruba ayırın (A ve B)
Her gruba bir şeyin farklı bir sürümünü gösterin (örn. web sitesi yerleşimi)

İki kullanıcı grubuna iki farklı web sitesi yerleşimi gösteriliyor.

¹ Görsel: uyarlanmıştır https://commons.wikimedia.org/wiki/File:A-B_testing_simple_example.png

A/B testi

Rastgeleleştirilmiş deney: kullanıcıları iki gruba ayırın (A ve B)
Her gruba bir şeyin farklı bir sürümünü gösterin (örn. web sitesi yerleşimi)
Bir metrikte hangi grubun daha iyi olduğunu karşılaştırın (örn. tıklama oranı)

İki kullanıcı grubuna iki farklı web sitesi yerleşimi gösteriliyor; biri daha yüksek tıklama oranına sahip.

¹ Görsel: uyarlanmıştır https://commons.wikimedia.org/wiki/File:A-B_testing_simple_example.png

A/B testi: frekansçı yöntem

Hipotez testine dayanır
A ve B'nin aynı performansı gösterip göstermediğini kontrol eder
A'nın B'den ne kadar iyi olduğunu söylemez

A/B testi: Bayesçi yaklaşım

Site yerleşimleri A ve B için art dağılımlı tıklama oranlarını hesaplayıp karşılaştırın
A'nın B'den daha iyi olma olasılığını doğrudan hesaplayın
Ne kadar daha iyi olduğunu nicelleştirin
Yanlış karar durumunda beklenen kaybı tahmin edin

A/B testi: Bayesçi yaklaşım

Bir kullanıcı siteye geldiğinde iki durum vardır:
- Tık (başarı)
- Tık yok (başarısızlık)
Binom dağılımını kullanın! (başarı olasılığı = tıklama oranı)

Beta art dağılımını simüle etme

Ön dağılım $Beta(a, b)$ ise, art dağılım $Beta(x, y)$ olur ve:

$x = \text{NumberOfSuccesses} + a$

$y = \text{NumberOfObservations} - \text{NumberOfSuccesses} + b$

def simulate_beta_posterior(trials, beta_prior_a, beta_prior_b):
    num_successes = np.sum(trials)
    posterior_draws = np.random.beta(
      num_successes + beta_prior_a, 
      len(trials) - num_successes + beta_prior_b, 
      10000
    )
    return posterior_draws

Art dağılımları karşılaştırma

1'ler (tık) ve 0'lardan (tık yok) oluşan listeler:

print(A_clicks)
print(B_clicks)

[0 1 1 0 0 0 0 0 0 0 1 ... ]
[0 0 0 1 0 0 0 1 1 0 1 ... ]

Her yerleşim için art dağılımdan örnekleyin:

A_posterior = simulate_beta_posterior(A_clicks, 1, 1)
B_posterior = simulate_beta_posterior(B_clicks, 1, 1)

Art dağılımları görselleştirin:

sns.kdeplot(A_posterior, shade=True, label="A")
sns.kdeplot(B_posterior, shade=True, label="B")
plt.show()

Kısmen çakışan iki art dağılım yoğunluk grafiği.

Art dağılımları karşılaştırma

B ile A arasındaki art farkı:

diff = B_posterior - A_posterior

sns.kdeplot(diff, shade=True, label="difference: A-B")
plt.show()

Olasılık kütlesinin neredeyse tamamı sıfırın üstünde olan bir yoğunluk grafiği.

B'nin daha iyi olma olasılığı:

(diff > 0).mean()

0.9639

Beklenen kayıp

Daha kötü sürümü canlıya alırsak kaç tıklama kaybederiz?

# A daha iyiyken (B-A) farkı 
loss = diff[diff < 0]


# Beklenen (ortalama) kayıp
expected_loss = loss.mean()
print(expected_loss)

-0.0077850237030215215

Reklam verisi

print(ads)

                               user_id   product site_version                 time  banner_clicked
0     f500b9f27ac611426935de6f7a52b71f   clothes      desktop  2019-01-28 16:47:08               0
1     cb4347c030a063c63a555a354984562f  sneakers       mobile  2019-03-31 17:34:59               0
2     89cec38a654319548af585f4c1c76b51   clothes       mobile  2019-02-06 09:22:50               0
3     1d4ea406d45686bdbb49476576a1a985  sneakers       mobile  2019-05-23 08:07:07               0
4     d14b9468a1f9a405fa801a64920367fe   clothes       mobile  2019-01-28 08:16:37               0
...                                ...       ...          ...                  ...             ...
9995  7ca28ccde263a675d7ab7060e9ed0eca   clothes       mobile  2019-02-02 08:19:39               0
9996  7e2ec2631332c6c4527a1b78c7ede789   clothes       mobile  2019-04-04 03:27:05               0
9997  3b828da744e5785f1e67b5df3fda5571   clothes       mobile  2019-04-15 15:59:06               0
9998  6cce0527245bcc8519d698af2224c04a   clothes       mobile  2019-05-21 20:43:21               0
9999  8cf87a02f96327a1a8a93814f34d0d0c  sneakers       mobile  2019-03-02 21:27:57               0

Hadi A/B testi yapalım!

Python ile Bayesçi Veri Analizi