Návrh a odhadování metrik

A/B testování v Pythonu

Moe Lotfy, PhD

Principal Data Science Manager

Typy metrik

Primární (cílová/severní hvězda):
- Nejlépe popisuje úspěch firmy nebo mise
Granulární metriky:
- Nejlépe vysvětlují chování uživatelů
- Citlivější a lépe použitelné
- Míra registrací:
  - = (kliknutí/návštěvníci) × (registrace/kliknutí)
Instrumentační/ochranné metriky:
- Mimo rozsah tohoto kurzu

Ilustrace metriky severní hvězda

Ilustrace metrik pomocí sloupcového a spojnicového grafu

Typy metrik

Kvantitativní kategorizace

Průměry/percentily: průměrné tržby, medián doby na stránce
Podíly:
- Míra registrací: registrace/celkový počet návštěvníků
- Míra opuštění stránky: opuštění stránky/celkový počet návštěvníků
Poměry:
- Míra prokliků (CTR): kliknutí/návštěvy stránky nebo kliknutí/zobrazení reklamy
- Příjmy na relaci
Metriky lze kombinovat pro komplexnější kritéria úspěchu/neúspěchu

Požadavky na metriky

Stabilní/robustní vůči nepodstatným rozdílům
Citlivé na důležité změny
Měřitelné v rámci omezení logování
Nemanipulovatelné
- Výrazné barvy
- Čas na stránce

Přehnaná výzva k akci s výraznými barvami

Odhadování metrik v Pythonu

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Odhadování metrik v Pythonu

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Pojďme procvičovat!

A/B testování v Pythonu