Лучшие практики A/B-тестирования и продвинутые темы

A/B-тестирование в Python

Moe Lotfy, PhD

Principal Data Science Manager

Лучшие практики

Не подглядывайте в результаты

  • Не принимайте решения, не дождавшись заданного размера выборки: ранний просмотр завышает частоту ошибок, как и множественные сравнения.

Учитывайте эффект дня недели

  • Поведение пользователей в выходные и будние дни различается, поэтому эксперимент должен охватывать оба периода.
A/B-тестирование в Python

Лучшие практики

  • Простота и реализуемость:
    • Нужно ли строить полноценную функцию?
    • Тесты «нарисованной двери»
  • Изоляция
    • Изменяйте по одной переменной за раз, чтобы точно оценить влияние.
A/B-тестирование в Python

Продвинутые темы

  • Многофакторный дизайн и эффекты взаимодействия
    • Измеряет изолированный эффект каждой переменной
    • Выявляет эффекты взаимодействия и синергии
  • Байесовское A/B-тестирование
    • Включает предварительные данные в текущий эксперимент
    • Рассматривает параметры генеральной совокупности как распределения
    • Более интуитивная интерпретация результатов
  • Нарушение SUTVA и сетевые эффекты
    • Распределение одного пользователя влияет на других
    • Характерно для A/B-тестов в социальных сетях
    • Одно из решений: кластерное распределение
A/B-тестирование в Python

Давайте потренируемся!

A/B-тестирование в Python

Preparing Video For Download...