Що врахувати в A/B‑тестуванні

A/B Testing в R

Lauryn Burleigh

Data Scientist

Що врахувати в A/B‑тестуванні

Використовуйте A/B лише якщо...

  • Достатньо релевантних користувачів/трафіку
  • Є час на дизайн і тести
  • Чітка гіпотеза

Що врахувати в A/B‑тесті

  • Флуктуації даних
  • Кількість змінних
  • Регресія до середнього
A/B Testing в R

Флуктуації в даних

  • Для точності потрібне представлення всієї сукупності
  • Флуктуації впливають на результат
    • Зміна аудиторії
    • День тижня
    • Свята
    • Публічний резонанс

Лінійний графік: спершу повернення користувачів падає, потім відновлюється; нові користувачі зростають.

Кількість продажів зростає під час зимових свят.

Продажі зростають під час розпродажу й падають поза ним.

A/B Testing в R

Приклад флуктуацій

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Гістограма 10 точок даних, що покривають увесь діапазон осі X.

Гістограма 10 точок даних із стовпчиками на початку, в центрі та в кінці осі X.

Гістограма 10 точок даних зі стовпчиками переважно в центрі осі X.

A/B Testing в R

Кількість змінних

  • Одна змінна — ідеально
  • Одна начинка/одна змінна
    • Оцінка окремої начинки/умови
    • Сир: контрольна змінна
    • Пепероні: змінна начинки
  • Дві начинки/кілька змінних
    • Оцінка комбінацій
    • Пари: болгарський перець і цибуля; оливки й часник
    • Без контролю

Піци з сиром і з пепероні (по одній начинці) з 3 учасниками в кожній групі, та піци з перцем і цибулею й з оливками та часником (по дві начинки) з 3 учасниками в кожній.

A/B Testing в R

Змінні та похибка типу I

  • Більше змінних → більше аналізів
    • Вищий ризик похибки типу I
  • Типова значущість: 5%
    • альфа: 0,05
    • 5% імовірності похибки типу I
  • Рівень довіри: 100 − значущість
    • Використовують для обчислення сімейної похибки
      • 1 − імовірність відсутності хибнопозитивних

Обчисліть сімейну похибку (family-wise error rate)

  • Значущість: 5%
  • Рівень довіри: 95%
  • Кількість тестів: 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

A/B Testing в R

Регресія до середнього

  • Екстремальні значення згладжуються з додатковими даними
  • Ризик похибки типу I
  • Порівнюйте з контрольною групою

Лінійний графік: спочатку багато нових відправлень, далі — регресія до середнього з часом.

Лінійний графік: без змін для початкової кнопки; у групі зі зміною сплеск нових відправлень, але з регресією до середнього, що зрівнюється з даними без змін.

A/B Testing в R

Регресія до середнього

  • Малі вибірки неточні
  • Ризик похибки типу I
  • Більше даних → істинне середнє
ID Задоволення [1–10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
A/B Testing в R

Давайте потренуємось!

A/B Testing в R

Preparing Video For Download...