Pourquoi réaliser des expériences?

A/B Testing en Python

Moe Lotfy, PhD

Principal Data Science Manager

La valeur des tests A/B

Réduire l'incertitude sur l'impact des nouveaux designs et fonctionnalités
Des décisions scientifiques, fondées sur des preuves — pas sur l'intuition
Excellent rendement : de petits changements peuvent mener à de grands gains
Optimisation continue à maturité de l'entreprise
Corrélation ≠ causalité

Hiérarchie des preuves

Version adaptée de la hiérarchie des preuves

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

Les messages d'erreur réduisent-ils l'attrition?

Exemple de corrélation fallacieuse dans Microsoft Office 365 :$^1$
- Corrélation fallacieuse : corrélation forte qui semble causale mais ne l'est pas.

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Coefficient de corrélation de Pearson

Un score qui mesure la force d'une relation linéaire entre deux variables.
r>0 : corrélation positive
r = 0 : corrélation nulle
r<0 : corrélation négative

Formule du coefficient de corrélation de Pearson (r) :

L'équation du coefficient de corrélation de Pearson (r)

Hypothèses : distribution normale et linéarité

Inspection visuelle des corrélations

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Nuages de points montrant la relation entre trois colonnes de l'ensemble de données

Carte thermique des corrélations de Pearson

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

Carte thermique des corrélations entre toutes les variables et leurs coefficients

Passons à la pratique !

A/B Testing en Python