Considerazioni per l'A/B test

A/B Testing in R

Lauryn Burleigh

Data Scientist

Considerazioni per l'A/B test

Usa l'A/B test solo se...

Soggetti/traffico sono sufficienti
Tempo per progettare e testare
Ipotesi chiara

Considerazioni per l'A/B test

Fluttuazioni dei dati
Numero di variabili
Regressione verso la media

Fluttuazioni nei dati

Per accuratezza, serve rappresentare l'intera popolazione
Le fluttuazioni influenzano i risultati
- Cambio nei soggetti
- Giorno della settimana
- Festività
- Opinione pubblica

Line plot: utenti di ritorno inizialmente in calo poi in ripresa; nuovi utenti in aumento.

Numero di vendite in aumento durante le vacanze invernali.

Vendite in aumento durante i saldi, in calo fuori dai saldi.

Esempio di fluttuazioni

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Un istogramma di 10 punti con valori distribuiti su tutto l'asse x.

Un istogramma di 10 punti con barre all'inizio, al centro e alla fine dell'asse x.

Un istogramma di 10 punti con barre soprattutto al centro dell'asse x.

Numero di variabili

Una variabile: ideale
Una farcitura/una variabile
- Valuta singola farcitura/condizione
- Formaggio: variabile di controllo
- Pepperoni: variabile di farcitura
Due farciture/più variabili
- Valuta combinazioni
- Abbinamenti: peperone & cipolla, olive & aglio
- Nessun controllo

Pizze solo formaggio e con pepperoni (una farcitura) con 3 soggetti per gruppo, e pizze con due farciture (peperone con cipolla, olive con aglio) con 3 soggetti ciascuna.

Variabili ed errore di tipo I

Più variabili -> più analisi
- Maggiore rischio di errore di tipo I
Significatività comune: 5%
- alpha: 0,05
- 5% di probabilità di errore di tipo I
Livello di confidenza: 100 - significatività
- Usato per calcolare il family-wise error rate
  - 1 - Probabilità di zero falsi positivi

Calcola il family-wise error rate

Significatività: 5%
Livello di confidenza: 95%
Test da eseguire: 10

1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

Regressione verso la media

Valori estremi si compensano con più dati
Rischio di errore di tipo I
Confronta con un gruppo di controllo

Un line plot con molte nuove iscrizioni all'inizio che regrediscono verso la media nel tempo.

Un line plot che mostra nessun cambiamento per il bottone originale rispetto a molte nuove iscrizioni con la modifica; il gruppo modificato regredisce verso la media fino a incontrare i dati senza modifica.

Regressione verso la media

Campioni piccoli sono imprecisi
Rischio di errore di tipo I
Più dati -> vera media

ID	Gradimento [1-10]
01	1
02	10
03	9

mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666

Ayo berlatih!

A/B Testing in R