Проектирование и оценка метрик

A/B-тестирование в Python

Moe Lotfy, PhD

Principal Data Science Manager

Виды метрик

Первичные (целевые/north-star):
- Лучше всего отражают успех бизнеса или миссии
Детализированные метрики:
- Лучше всего объясняют поведение пользователей
- Более чувствительные и практичные
- Коэффициент регистрации:
  - = (клики/посетители) X (регистрации/клики)
Метрики инструментирования/защитные метрики:
- Выходят за рамки этого курса

Иллюстрация метрики north star

Иллюстрация метрик в виде столбчатой диаграммы и линейного графика

Виды метрик

Количественная классификация

Средние значения/перцентили: средние продажи, медианное время на странице
Доли:
- Коэффициент регистрации: регистрации/всего посетителей
- Коэффициент отказа от страницы: отказавшиеся/всего посетителей
Соотношения:
- Кликабельность (CTR): клики/посещения страницы или клики/показы рекламы
- Выручка за сессию
Метрики можно комбинировать для более полной оценки успеха или неудачи

Требования к метрикам

Устойчивая/робастная к незначительным различиям
Чувствительная к важным изменениям
Измеримая в рамках ограничений логирования
Неманипулируемая
- Яркие цвета
- Время на странице

Яркий преувеличенный призыв к действию

Оценка метрик в Python

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Оценка метрик в Python

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Давайте потренируемся!

A/B-тестирование в Python