Критерий хи-квадрат независимости

A/B-тестирование в R

Lauryn Burleigh

Data Scientist

Таблицы частот

Связаны ли номинальные переменные
- Желание снова заказать пиццу с той же начинкой
Таблица частот — сколько раз каждое сочетание условий встречается вместе
- Пицца с одной начинкой: переменная 1
- Желание попробовать снова: переменная 2

table(Pizza$Topping, Pizza$EatAgain)

             Maybe  No Yes
  Cheese       207  90 703
  Pepperoni    147 101 752

Гипотезы

Нулевая гипотеза: начинка и желание попробовать снова не связаны
Альтернативная гипотеза: начинка и желание попробовать снова связаны

Вывод о причинно-следственной связи невозможен

Фотография кусков пиццы.

Размер выборки

library(pwr)
pwr.chisq.test(w = 0.1, df = 2, 
               power = 0.80, 
               sig.level = 0.05)

     Chi squared power calculation 
              w = 0.1
              N = 963.4689
             df = 2
      sig.level = 0.05
          power = 0.8
NOTE: N is the number of observations

w:
- Малый: 0,10
- Средний: 0,30
- Большой: 0,50
Степени свободы:
- (Условий-переменной-1 - 1) * (Условий-переменной-2 - 1)
- (2-1) * (3-1) = 2

Минимум пять наблюдений для каждой комбинации переменных

Критерий хи-квадрат

freqtbl <- table(Pizza$Topping, 
                 Pizza$EatAgain) 
chisq.test(freqtbl)

    Pearson's Chi-squared test

data:  freqtbl
X-squared = 12.453, df = 2, 
p-value = 0.001976

Большие выборки: более 1000 наблюдений

Размер эффекта

Размер эффекта: w
Вероятности

probtbl <- freqtbl/sum(freqtbl) 

library(pwr)
ES.w2(probtbl)

Малый: 0,10
Средний: 0,30
Большой: 0,50

[1] 0.07890872

Мощность критерия

pwr.chisq.test(w = 0.079, df = 2, 
               N = 1000, 
               sig.level = 0.002)

     Chi squared power calculation 

              w = 0.079
              N = 1000
             df = 2
      sig.level = 0.002
          power = 1

NOTE: N is the number of observations

Давайте потренируемся!

A/B-тестирование в R