Потужність і розмір вибірки

A/B Testing в R

Lauryn Burleigh

Data Scientist

Визначення потужності

  • Імовірність відхилити нульову гіпотезу, коли вона хибна
  • Не допустити помилки II роду — не відхилити нульову
  • Ідеально: мала частота помилки II роду, велика потужність

Нормальний розподіл для нульової гіпотези ліворуч і для альтернативної — праворуч, частково перекриті. Пунктирна горизонтальна лінія позначає p-значення в зоні перекриття. Ліва частина від лінії під альтернативною гіпотезою — помилка II роду, права — потужність.

A/B Testing в R

Переваги потужності

Корисність тесту

  • Відхиляти нульову гіпотезу, коли слід

Нормальний розподіл для нульової гіпотези ліворуч і для альтернативної — праворуч, частково перекриті. Пунктирна горизонтальна лінія позначає p-значення в зоні перекриття. Ліва частина від лінії під альтернативною гіпотезою — помилка II роду, права — потужність.

Потужність

  • Визначає потрібний розмір вибірки
  • Перевіряє, чи можна довіряти результатам
A/B Testing в R

Розмір вибірки

  • Оцінений розмір ефекту
  • Оцінена потужність (зазвичай 0,8)
  • Альфа (зазвичай 0,05)

Перекриття розподілів для різних розмірів вибірки: менша вибірка має вужчий розподіл, ніж більші, для t-значень на осі x. Лінія для меншої вибірки показує, що потрібно більше t-значення для значущості.

library(pwr)
pwr.t.test(d = .8, power = 0.8,

           sig.level = 0.05,

           type = "one.sample",

           alternative = "two.sided")

     One-sample t test power calculation 
              n = 14.30276
              d = 0.8
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
A/B Testing в R

Розмір ефекту

  • Очікуваний розмір ефекту
  • Середнє контрольної групи − середнє експериментальної

Нормальний розподіл для нульової гіпотези ліворуч і для альтернативної — праворуч, частково перекриті. Пунктирна горизонтальна лінія позначає p-значення в зоні перекриття. Лінія червоного кольору показує, що розмір ефекту — це різниця між вершинами двох розподілів.

До аналізу

Знайдіть розмір ефекту за:

  • Фоновою інформацією
  • Попередніми даними

 

Після аналізу

Знайдіть розмір ефекту за:

  • Повним набором даних
A/B Testing в R

Аналіз потужності тесту

Вища потужність = вища ймовірність правильно відхилити нульову гіпотезу

Потрібні три складові:

  • Розмір вибірки
  • Розмір ефекту
  • Альфа
library(pwr)
pwr.t.test(n = 20, sig.level = 0.045, 
           d = .81, type = "one.sample")

     One-sample t test power calculation 
              n = 20
              d = 0.81
      sig.level = 0.045
          power = 0.9223189
    alternative = two.sided
A/B Testing в R

Розподіли для піци

Подібні розподіли

Немає суттєвої різниці

Дві гістограми: Pepperoni — рожевим, Cheese — синім; на осі x — отримані значення, на осі y — частоти. Піки близько один до одного.

Різні розподіли

Ймовірна суттєва різниця

Дві гістограми: Pepperoni — рожевим, Cheese — синім; на осі x — отримані значення, на осі y — частоти. Піки рознесені.

A/B Testing в R

Гіпотези про піцу

Розподіл нульової гіпотези рожевим із середньою різницею 0 і розподіл альтернативної синім із середньою різницею 3,5; критичне значення відхилення — вертикальна лінія на 1,64.

  • Подібні: ліворуч від порога відхилення
  • Різні: праворуч від порога відхилення
library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)
A/B Testing в R

Потужність для піци

Розподіл нульової гіпотези рожевим із середньою різницею 0 і розподіл альтернативної синім із середньою різницею 3,5; критичне значення відхилення — вертикальна лінія на 1,64.

  • Подібні: ліворуч від порога відхилення
  • Різні: праворуч від порога відхилення
  • Потужність: імовірність не помилково вважати розподіли начинки однаковими (помилка II роду)
library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)
A/B Testing в R

Давайте потренуємось!

A/B Testing в R

Preparing Video For Download...