Хі-квадрат тест незалежності

A/B Testing в R

Lauryn Burleigh

Data Scientist

Таблиці частот

Чи пов'язані номінальні змінні
- Чи знову їстимуть начинку піци
Таблиця частот — скільки разів кожна з умов співтрапляє
- Піца з однією начинкою: змінна 1
- Їв би знову: змінна 2

table(Pizza$Topping, Pizza$EatAgain)

             Maybe  No Yes
  Cheese       207  90 703
  Pepperoni    147 101 752

Гіпотези

Нульова гіпотеза: начинка й намір їсти знову не пов'язані
Альтернативна гіпотеза: начинка й намір їсти знову пов'язані

Причинність не випливає

Фотографія шматків піци.

Розмір вибірки

library(pwr)
pwr.chisq.test(w = 0.1, df = 2, 
               power = 0.80, 
               sig.level = 0.05)

     Chi squared power calculation 
              w = 0.1
              N = 963.4689
             df = 2
      sig.level = 0.05
          power = 0.8
NOTE: N is the number of observations

w:
- Малий: 0,10
- Середній: 0,30
- Великий: 0,50
Ступені вільності:
- (Кількість рівнів змінної 1 − 1) * (Кількість рівнів змінної 2 − 1)
- (2−1) * (3−1) = 2

Мінімум п'ять значень у кожній комбінації змінних

Хі-квадрат тест

freqtbl <- table(Pizza$Topping, 
                 Pizza$EatAgain) 
chisq.test(freqtbl)

    Pearson's Chi-squared test

data:  freqtbl
X-squared = 12.453, df = 2, 
p-value = 0.001976

Великі вибірки: понад 1000

Розмір ефекту

Розмір ефекту: w
Ймовірності

probtbl <- freqtbl/sum(freqtbl) 

library(pwr)
ES.w2(probtbl)

Малий: 0,10
Середній: 0,30
Великий: 0,50

[1] 0.07890872

Потужність

pwr.chisq.test(w = 0.079, df = 2, 
               N = 1000, 
               sig.level = 0.002)

     Chi squared power calculation 

              w = 0.079
              N = 1000
             df = 2
      sig.level = 0.002
          power = 1

NOTE: N is the number of observations

Давайте потренуємось!

A/B Testing в R