Chí-kvadrát test nezávislosti

A/B testování v R

Lauryn Burleigh

Data Scientist

Frekvenční tabulky

  • Zda jsou nominální proměnné vzájemně závislé
    • Zda by respondent jedl pizzu znovu
  • Frekvenční tabulka – počet výskytů každé kombinace podmínek
    • Pizza s jednou přísadou: proměnná 1
    • Ochota sníst znovu: proměnná 2
table(Pizza$Topping, Pizza$EatAgain)
             Maybe  No Yes
  Cheese       207  90 703
  Pepperoni    147 101 752
A/B testování v R

Hypotézy

  • Nulová hypotéza: přísada a ochota jíst pizzu znovu spolu nesouvisejí
  • Alternativní hypotéza: přísada a ochota jíst pizzu znovu spolu souvisejí

 

Nelze usuzovat na příčinnost

Fotografie kousků pizzy.

A/B testování v R

Velikost vzorku

library(pwr)
pwr.chisq.test(w = 0.1, df = 2, 
               power = 0.80, 
               sig.level = 0.05)
     Chi squared power calculation 
              w = 0.1
              N = 963.4689
             df = 2
      sig.level = 0.05
          power = 0.8
NOTE: N is the number of observations
  • w:
    • Malá: 0,10
    • Střední: 0,30
    • Velká: 0,50
  • Stupně volnosti:
    • (Počet kategorií proměnné 1 - 1) * (Počet kategorií proměnné 2 - 1)
    • (2-1) * (3-1) = 2

 

Minimálně pět hodnot v každé kombinaci proměnných

A/B testování v R

Chí-kvadrát test

freqtbl <- table(Pizza$Topping, 
                 Pizza$EatAgain) 
chisq.test(freqtbl)
    Pearson's Chi-squared test

data:  freqtbl
X-squared = 12.453, df = 2, 
p-value = 0.001976

 

Velké vzorky: více než 1000

A/B testování v R

Velikost účinku

  • Velikost účinku: w
  • Pravděpodobnosti
probtbl <- freqtbl/sum(freqtbl) 

library(pwr)
ES.w2(probtbl)
  • Malá: 0,10
  • Střední: 0,30
  • Velká: 0,50
[1] 0.07890872
A/B testování v R

Síla testu

pwr.chisq.test(w = 0.079, df = 2, 
               N = 1000, 
               sig.level = 0.002)
     Chi squared power calculation 

              w = 0.079
              N = 1000
             df = 2
      sig.level = 0.002
          power = 1

NOTE: N is the number of observations
A/B testování v R

Pojďme si procvičit!

A/B testování v R

Preparing Video For Download...