Pourquoi mener des expériences ?

A/B Testing en Python

Moe Lotfy, PhD

Principal Data Science Manager

La valeur des tests A/B

Réduire l'incertitude sur l'impact des nouveaux designs et fonctionnalités
Décider de façon scientifique, fondée sur des preuves → pas à l'intuition
Fort retour sur investissement : de petits changements peuvent rapporter gros
Optimisation continue à un stade mûr de l'activité
Corrélation n'implique pas causalité

Hiérarchie des preuves

Version adaptée de la hiérarchie des preuves

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

Les messages d'erreur réduisent-ils l'attrition ?

Exemple de corrélation fallacieuse dans Microsoft Office 365 :$^1$
- Corrélation fallacieuse : corrélation forte qui paraît causale mais ne l'est pas.

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Coefficient de corrélation de Pearson

Score mesurant la force d'une relation linéaire entre deux variables.
r>0 : corrélation positive
r = 0 : corrélation nulle
r<0 : corrélation négative

Formule du coefficient de corrélation de Pearson (r) :

Équation du coefficient de corrélation de Pearson (r)

Hypothèses : normalité et linéarité

Inspection visuelle des corrélations

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Nuages de points montrant la relation entre trois colonnes du jeu de données

Carte thermique des corrélations (Pearson)

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

Carte thermique de toutes les variables du jeu de données et de leurs coefficients de corrélation

Passons à la pratique !