Проєктування та оцінювання метрик

A/B Testing на Python

Moe Lotfy, PhD

Principal Data Science Manager

Типи метрик

Головна (мета/north-star):
- Найкраще відображає успіх бізнесу чи місії
Дрібні метрики:
- Найкраще пояснюють поведінку користувачів
- Чутливіші та придатні до дій
- Рівень реєстрації:
  - = (clicks/visitors) X (signups/clicks)
Інструментальні/запобіжні метрики:
- Поза межами цього курсу

Ілюстрація метрики north star

Ілюстрація метрик: стовпчики та лінія

Типи метрик

Кількісна класифікація

Середні/перцентилі: середні продажі, медіанний час на сторінці
Частки:
- Рівень реєстрації: signups/total visitors
- Рівень залишення сторінки: page abandoners/total visitors
Співвідношення:
- Click-through-rate (CTR): clicks/page visits або clicks/ad impressions
- Дохід за сесію
Метрики можна комбінувати для повнішого критерію успіху/невдачі

Вимоги до метрик

Стабільні/стійкі до неважливих відмінностей
Чутливі до важливих змін
Вимірювані з урахуванням обмежень логування
Неможливі для «накручування»
- Яскраві кольори
- Час на сторінці

Яскравий перебільшений заклик до дії

Оцінювання метрик у Python

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Оцінювання метрик у Python

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Давайте потренуємось!

A/B Testing на Python