Perché eseguire esperimenti?

A/B Testing in Python

Moe Lotfy, PhD

Principal Data Science Manager

Il valore dell'A/B testing

Riduci l'incertezza sull'impatto di nuovi design e funzionalità
Decisioni --> scientifiche, basate su evidenze, non sull'intuizione
Ottimo ROI: piccole modifiche portano grandi risultati
Ottimizzazione continua nelle fasi mature del business
La correlazione non implica causalità

Gerarchia delle evidenze

Versione adattata della gerarchia delle evidenze

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

I messaggi di errore riducono l'abbandono?

Esempio di correlazione spuriosa in Microsoft Office 365:$^1$
- Correlazione spuriosa: correlazione forte che sembra causale ma non lo è.

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Coefficiente di correlazione di Pearson

Uno score che misura l'intensità della relazione lineare tra due variabili.
r>0: correlazione positiva
r = 0: nessuna correlazione
r<0: correlazione negativa

Formula del coefficiente di correlazione di Pearson (r):

Equazione del coefficiente di correlazione di Pearson (r)

Ipotesi: distribuzione normale e linearità

Ispezione visiva delle correlazioni

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Grafici a dispersione che mostrano la relazione tra tre colonne dell'insieme di dati

Heatmap della correlazione di Pearson

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

Heatmap di tutte le variabili dell'insieme di dati e dei relativi coefficienti di correlazione

Esercitiamoci!

A/B Testing in Python