Conception et estimation des mesures

A/B Testing en Python

Moe Lotfy, PhD

Principal Data Science Manager

Types de mesures

Principale (objectif/étoile polaire) :
- Décrit le mieux la réussite de l'entreprise ou de la mission
Mesures granulaires :
- Expliquent le mieux le comportement des utilisateurs
- Plus sensibles et exploitables
- Taux d'inscription :
  - = (clics/visiteurs) × (inscriptions/clics)
Mesures d'instrumentation/pare-feu :
- Hors de la portée de ce cours

Illustration de la mesure « étoile polaire »

Illustration : histogramme et courbe

Types de mesures

Catégorisation quantitative

Moyennes/percentiles : ventes moyennes, temps médian sur la page
Proportions :
- Taux d'inscription : inscriptions/visiteurs totaux
- Taux d'abandon de page : abandonneurs de page/visiteurs totaux
Rapports :
- Taux de clics (CTR) : clics/visites de page ou clics/impressions d'annonces
- Revenu par session
Les mesures peuvent être combinées pour définir un critère de succès/échec plus complet

Exigences pour les mesures

Stables/robustes face aux différences peu importantes
Sensibles aux changements importants
Mesurables malgré les limites de journalisation
Difficiles à contourner
- Couleurs criardes
- Temps passé sur la page

Appel à l'action très accentué

Estimation de mesures en Python

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Estimation de mesures en Python

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Passons à la pratique !

A/B Testing en Python