Мощность и объём выборки

A/B-тестирование в R

Lauryn Burleigh

Data Scientist

Определение мощности

Вероятность отвергнуть нулевую гипотезу, когда она ложна
Отсутствие ошибки II рода (ненулевая гипотеза не отвергается)
Идеал: малая частота ошибок II рода, высокая мощность

Нормальное распределение нулевой гипотезы слева и альтернативной гипотезы справа с частичным перекрытием. Пунктирная горизонтальная линия обозначает p-значение в точке перекрытия. Область слева от линии под кривой альтернативной гипотезы — ошибка II рода, область справа — мощность.

Преимущества мощности

Применимость критерия

Отклонение нулевой гипотезы, когда это обоснованно

Мощность

Определение необходимого объёма выборки
Оценка достоверности результатов

Объём выборки

Оценочный размер эффекта
Оценочная мощность (обычно 0,8)
Уровень значимости альфа (обычно 0,05)

Перекрывающиеся распределения для различных объёмов выборок: меньший объём даёт более узкое распределение. По оси X отложены t-значения. Кривая меньшей выборки показывает, что для достижения значимости требуется более высокое t-значение.

library(pwr)
pwr.t.test(d = .8, power = 0.8,

           sig.level = 0.05,

           type = "one.sample",

           alternative = "two.sided")

     One-sample t test power calculation 
              n = 14.30276
              d = 0.8
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

Размер эффекта

Ожидаемый размер эффекта
Среднее контрольной группы минус среднее экспериментальной группы

Нормальное распределение нулевой гипотезы слева и альтернативной гипотезы справа с частичным перекрытием. Пунктирная горизонтальная линия обозначает p-значение в точке перекрытия. Область слева — ошибка II рода, справа — мощность. Красная полоса показывает размер эффекта как разность между пиками двух распределений.

До анализа

Определение размера эффекта:

Фоновая информация
Предварительные данные

После анализа

Определение размера эффекта:

Полный набор данных

Анализ мощности критерия

Чем выше мощность, тем больше вероятность верно отвергнуть нулевую гипотезу

Три необходимых компонента:

Объём выборки
Размер эффекта
Уровень значимости альфа

library(pwr)
pwr.t.test(n = 20, sig.level = 0.045, 
           d = .81, type = "one.sample")

     One-sample t test power calculation 
              n = 20
              d = 0.81
      sig.level = 0.045
          power = 0.9223189
    alternative = two.sided

Распределения для пиццы

Схожие распределения

Значимых различий нет

Две гистограммы: «Пепперони» розовым и «Сыр» синим. По оси X — полученные значения, по оси Y — частота появления. Пики расположены близко друг к другу.

Различающиеся распределения

Вероятно, различие значимо

Две гистограммы: «Пепперони» розовым и «Сыр» синим. По оси X — полученные значения, по оси Y — частота появления. Пики разнесены по оси X.

Гипотезы для пиццы

Распределение нулевой гипотезы розовым с разностью средних 0 и альтернативной гипотезы синим с разностью средних 3,5. Вертикальная линия на отметке 1,64 обозначает критическое значение отклонения.

Схожи: левее критического значения
Различаются: правее критического значения

library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)

Мощность для пиццы

Схожи: левее критического значения
Различаются: правее критического значения
Мощность: вероятность не допустить ошибочного вывода о совпадении распределений начинок (ошибка II рода)

library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)

Давайте потренируемся!

A/B-тестирование в R