Waarom experimenten uitvoeren?

A/B-testen in Python

Moe Lotfy, PhD

Principal Data Science Manager

De waarde van A/B-testen

Verminder onzekerheid over de impact van nieuwe designs en features
Beslissen op basis van wetenschap en bewijs, niet intuïtie
Hoge ROI: kleine aanpassingen kunnen grote winst geven
Continu optimaliseren in de volwassen fase van het bedrijf
Correlatie betekent geen causaliteit

Hiërarchie van bewijs

Aangepaste versie van de bewijs-hiërarchie

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

Verminderen foutmeldingen churn?

Microsoft Office 365-voorbeeld van schijncorrelatie:$^1$
- Schijncorrelatie: een sterke correlatie die causaal lijkt, maar dat niet is.

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Pearson-correlatiecoëfficiënt

Een score die de sterkte meet van een lineair verband tussen twee variabelen.
r>0: positieve correlatie
r = 0: geen correlatie
r<0: negatieve correlatie

Formule Pearson-correlatiecoëfficiënt (r):

De vergelijking van de Pearson-correlatiecoëfficiënt (r)

Aannames: normale verdeling en lineariteit

Correlaties visueel inspecteren

# Importeer visualisatiebibliotheek seaborn
import seaborn as sns

# Maak pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Spreidingsdiagrammen met de relatie tussen drie kolommen in de dataset

Pearson-correlatie heatmap

# Importeer visualisatiebibliotheek seaborn
import seaborn as sns

# Print Pearson-correlatiecoëfficiënt
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlatie-heatmap
sns.heatmap(admissions.corr(),annot=True)

Heatmap van alle variabelen in de dataset en hun correlatiecoëfficiënten

Laten we oefenen!

A/B-testen in Python