A/B-testning

Bayesiansk dataanalys i Python

Michal Oleszak

Machine Learning Engineer

A/B-testning

Randomiserat experiment: dela upp användare i två grupper (A och B)

Två grupper av användare.

¹ Bild: anpassad från https://commons.wikimedia.org/wiki/File:A-B_testing_simple_example.png

A/B-testning

Randomiserat experiment: dela upp användare i två grupper (A och B)
Exponera varje grupp för en annan version av något (t.ex. en webbplatslayout)

Två grupper av användare som visas två olika webbplatslayouter.

¹ Bild: anpassad från https://commons.wikimedia.org/wiki/File:A-B_testing_simple_example.png

A/B-testning

Randomiserat experiment: dela upp användare i två grupper (A och B)
Exponera varje grupp för en annan version av något (t.ex. en webbplatslayout)
Jämför vilken grupp som presterar bättre på ett visst mått (t.ex. klickfrekvens)

Två grupper av användare som visas olika webbplatslayouter, varav en har högre klickfrekvens.

¹ Bild: anpassad från https://commons.wikimedia.org/wiki/File:A-B_testing_simple_example.png

A/B-testning: frekventistisk metod

Baseras på hypotestestning
Kontrollerar om A och B presterar likadant eller inte
Anger inte hur mycket bättre A är än B

A/B-testning: bayesiansk metod

Beräkna posteriora klickfrekvenser för layouterna A och B och jämför dem
Beräkna direkt sannolikheten att A är bättre än B
Kvantifiera hur mycket bättre det är
Uppskatta förväntad förlust om vi fattar ett felaktigt beslut

A/B-testning: bayesiansk metod

När en användare besöker webbplatsen finns det två scenarion:
- Klick (lyckad händelse)
- Inget klick (misslyckad händelse)
Använd binomialfördelningen! (sannolikhet för lyckad händelse = klickfrekvens)

Simulera betaposterior

Vi vet att om priorn är $Beta(a, b)$, så är posteriorn $Beta(x, y)$, där:

$x = \text{NumberOfSuccesses} + a$

$y = \text{NumberOfObservations} - \text{NumberOfSuccesses} + b$

def simulate_beta_posterior(trials, beta_prior_a, beta_prior_b):
    num_successes = np.sum(trials)
    posterior_draws = np.random.beta(
      num_successes + beta_prior_a, 
      len(trials) - num_successes + beta_prior_b, 
      10000
    )
    return posterior_draws

Jämföra posteriorerna

Listor med 1:or (klick) och 0:or (inga klick):

print(A_clicks)
print(B_clicks)

[0 1 1 0 0 0 0 0 0 0 1 ... ]
[0 0 0 1 0 0 0 1 1 0 1 ... ]

Simulera posteriordragningar för varje layout:

A_posterior = simulate_beta_posterior(A_clicks, 1, 1)
B_posterior = simulate_beta_posterior(B_clicks, 1, 1)

Plotta posteriorerna:

sns.kdeplot(A_posterior, shade=True, label="A")
sns.kdeplot(B_posterior, shade=True, label="B")
plt.show()

Två posteriora täthetskurvor som delvis överlappar varandra.

Jämföra posteriorerna

Posteriordifferens mellan B och A:

diff = B_posterior - A_posterior

sns.kdeplot(diff, shade=True, label="difference: A-B")
plt.show()

En täthetskurva där nästan all sannolikhetsmassa ligger ovanför noll.

Sannolikheten att B är bättre:

(diff > 0).mean()

0.9639

Förväntad förlust

Om vi driftsätter den sämre webbplatsversionen, hur många klick förlorar vi?

# Difference (B-A) when A is better 
loss = diff[diff < 0]


# Expected (average) loss
expected_loss = loss.mean()
print(expected_loss)

-0.0077850237030215215

Annonsdata

print(ads)

                               user_id   product site_version                 time  banner_clicked
0     f500b9f27ac611426935de6f7a52b71f   clothes      desktop  2019-01-28 16:47:08               0
1     cb4347c030a063c63a555a354984562f  sneakers       mobile  2019-03-31 17:34:59               0
2     89cec38a654319548af585f4c1c76b51   clothes       mobile  2019-02-06 09:22:50               0
3     1d4ea406d45686bdbb49476576a1a985  sneakers       mobile  2019-05-23 08:07:07               0
4     d14b9468a1f9a405fa801a64920367fe   clothes       mobile  2019-01-28 08:16:37               0
...                                ...       ...          ...                  ...             ...
9995  7ca28ccde263a675d7ab7060e9ed0eca   clothes       mobile  2019-02-02 08:19:39               0
9996  7e2ec2631332c6c4527a1b78c7ede789   clothes       mobile  2019-04-04 03:27:05               0
9997  3b828da744e5785f1e67b5df3fda5571   clothes       mobile  2019-04-15 15:59:06               0
9998  6cce0527245bcc8519d698af2224c04a   clothes       mobile  2019-05-21 20:43:21               0
9999  8cf87a02f96327a1a8a93814f34d0d0c  sneakers       mobile  2019-03-02 21:27:57               0

Nu kör vi en övning!

Bayesiansk dataanalys i Python