Proiectarea și estimarea metricilor

A/B Testing în Python

Moe Lotfy, PhD

Principal Data Science Manager

Tipuri de metrici

Primare (obiectiv/nord-stea):
- Descriu cel mai bine succesul afacerii sau misiunii
Metrici granulare:
- Explică comportamentul utilizatorilor
- Mai sensibile și acționabile
- Rata de înregistrare:
  - = (clicuri/vizitatori) X (înregistrări/clicuri)
Metrici de instrumentare/protecție:
- În afara sferei acestui curs

Ilustrație metrică nord-stea

Ilustrație metrici diagramă bare și grafic liniar

Tipuri de metrici

Categorizare cantitativă

Medii/percentile: vânzări medii, timp median pe pagină
Proporții:
- Rata de înregistrare: înregistrări/total vizitatori
- Rata de abandon: abandonuri/total vizitatori
Rapoarte:
- Rata de clic (CTR): clicuri/vizite pe pagină sau clicuri/afișări anunț
- Venit per sesiune
Metricile pot fi combinate pentru criterii mai cuprinzătoare de succes/eșec

Cerințele metricilor

Stabile/robuste față de diferențele neimportante
Sensibile la schimbările importante
Măsurabile în limitele înregistrărilor
Imposibil de manipulat
- Culori stridente
- Timp pe pagină

Îndemn la acțiune exagerat și colorat

Estimarea metricilor în Python

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Estimarea metricilor în Python

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Să exersăm!

A/B Testing în Python