Conception et estimation des métriques

A/B Testing en Python

Moe Lotfy, PhD

Principal Data Science Manager

Types de métriques

Principale (objectif/nord) :
- Décrit le mieux la réussite de l'activité ou de la mission
Métriques granulaires :
- Expliquent le mieux le comportement des utilisateurs
- Plus sensibles et actionnables
- Taux d'inscription :
  - = (clics/visiteurs) X (inscriptions/clics)
Métriques d'instrumentation/pare-feu :
- Hors du périmètre de ce cours

Illustration de la métrique « north star »

Illustration de métriques : histogramme et courbe

Types de métriques

Catégorisation quantitative

Moyennes/percentiles : ventes moyennes, temps médian sur la page
Proportions :
- Taux d'inscription : inscriptions/visiteurs totaux
- Taux d'abandon de page : abandonneurs/visiteurs totaux
Ratios :
- Taux de clics (CTR) : clics/visites de page ou clics/impressions pub
- Revenu par session
Les métriques peuvent être combinées pour définir un critère de succès/échec plus complet

Exigences pour les métriques

Stables/robustes face aux différences non pertinentes
Sensibles aux changements importants
Mesurables malgré les limites de journalisation
Non manipulables
- Couleurs criardes
- Temps passé sur la page

Appel à l'action exagéré et lumineux

Estimation de métriques en Python

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Estimation de métriques en Python

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Passons à la pratique !

A/B Testing en Python