Progettazione ed estimazione delle metriche

A/B Testing in Python

Moe Lotfy, PhD

Principal Data Science Manager

Tipi di metriche

Primaria (obiettivo/north-star):
- Descrive al meglio il successo del business o della missione
Metriche granulari:
- Spiegano meglio il comportamento degli utenti
- Più sensibili e azionabili
- Tasso di iscrizione:
  - = (clic/visitatori) × (iscrizioni/clic)
Metriche di strumentazione/guardrail:
- Fuori dallo scopo di questo corso

Illustrazione della metrica north star

Illustrazione: grafico a barre e linea delle metriche

Tipi di metriche

Categorizzazione quantitativa

Medie/percentili: vendite medie, tempo mediano sulla pagina
Proporzioni:
- Tasso di iscrizione: iscrizioni/visitatori totali
- Tasso di abbandono pagina: abbandoni pagina/visitatori totali
Rapporti:
- Click-through-rate (CTR): clic/visite pagina o clic/impression annuncio
- Ricavi per sessione
Le metriche si possono combinare per criteri di successo/fallimento più completi

Requisiti delle metriche

Stabili/robuste rispetto a differenze non importanti
Sensibili ai cambiamenti importanti
Misurabili entro i limiti di logging
Non manipolabili
- Colori accesi
- Tempo sulla pagina

Call-to-action volutamente eccessiva e brillante

Stima delle metriche in Python

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Stima delle metriche in Python

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Esercitiamoci!

A/B Testing in Python