Дизайн эксперимента: настройка параметров тестирования

A/B-тестирование в Python

Moe Lotfy, PhD

Principal Data Science Manager

Параметры распределения

  • d подчиняется нормальному распределению Математическая формулировка нулевой и альтернативной гипотез

  • Если наблюдаемое различие «d» маловероятно:

    • нулевая гипотеза отвергается
  • Распределения нулевой и альтернативной гипотез

Графическое представление распределений нулевой и альтернативной гипотез

A/B-тестирование в Python

Параметры дизайна и типы ошибок

  • Мощность (1- $\beta$)
    • $\beta$ = ошибка II рода = ложноотрицательный результат
    • Стандартное значение: 80%
  • Минимально обнаруживаемый эффект (MDE)
    • Наименьшее различие, которое важно зафиксировать

Матрица типов ошибок

Графическое представление параметров эксперимента

A/B-тестирование в Python

Параметры дизайна и типы ошибок

  • Уровень значимости $\alpha$
    • $\alpha$ = ошибка I рода = ложноположительный результат
    • Стандартное значение: 5%
  • P-значение
    • Вероятность получить наблюдаемый результат при условии, что нулевая гипотеза верна.
    • Если p-значение < $\alpha$
      • Нулевая гипотеза отвергается
    • Если p-значение > $\alpha$
      • Нулевая гипотеза не отвергается

Матрица типов ошибок

Графическое представление параметров эксперимента

A/B-тестирование в Python

Аналогия для параметров эксперимента

Аналогия для объяснения статистической мощности и параметров:

  1. Время в магазине = объём выборки / продолжительность эксперимента
  2. Размер пакета чипсов = размер эффекта / MDE
  3. Чистота и порядок в магазине = дисперсия данных

Аналогия для статистической мощности

A/B-тестирование в Python

Давайте потренируемся!

A/B-тестирование в Python

Preparing Video For Download...