Ontwerp en schatting van metrics

A/B-testen in Python

Moe Lotfy, PhD

Principal Data Science Manager

Soorten metrics

Primair (doel/north star):
- Beschrijft het beste het succes van bedrijf of missie
Granulaire metrics:
- Leggen gebruikersgedrag het best uit
- Gevoeliger en actiegerichter
- Signup-rate:
  - = (clicks/visitors) X (signups/clicks)
Instrumentatie/guardrail-metrics:
- Buiten scope van deze cursus

Illustratie north-star-metric

Illustratie staafdiagram en lijnplot van metrics

Soorten metrics

Kwantiﬁcatiecategorieën

Gemiddelden/percentielen: gemiddelde omzet, mediane tijd op pagina
Proporties:
- Signup-rate: signups/totaal aantal bezoekers
- Uitstapratio pagina: afhakers/totaal aantal bezoekers
Verhoudingen:
- Click-through-rate (CTR): clicks/paginabezoeken of clicks/ad impressions
- Omzet per sessie
Metrics kun je combineren tot een completere succes-/faalcriteria

Eisen aan metrics

Stabiel/robuust tegen onbelangrijke verschillen
Gevoelig voor belangrijke veranderingen
Meetbaar binnen logging-beperkingen
Niet te manipuleren
- Felle kleuren
- Tijd op pagina

Overdreven felle call-to-action

Python: metrics schatten

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Python: metrics schatten

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Laten we oefenen!

A/B-testen in Python