Putere și mărimea eșantionului

A/B Testing în R

Lauryn Burleigh

Data Scientist

Definiția puterii

  • Probabilitatea de a respinge ipoteza nulă când aceasta este falsă
  • Evitarea erorii de tip II de a nu respinge ipoteza nulă
  • Ideal: rată mică a erorii de tip II, putere mare

O distribuție normală a ipotezei nule în stânga și a ipotezei alternative în dreapta, parțial suprapuse. O linie orizontală întreruptă indică valoarea p unde distribuțiile se suprapun. La stânga liniei, sub ipoteza alternativă, se află eroarea de tip II; la dreapta se află puterea.

A/B Testing în R

Beneficiile puterii

Utilitatea testului

  • Respingerea ipotezei nule când este necesar

O distribuție normală a ipotezei nule în stânga și a ipotezei alternative în dreapta, parțial suprapuse. O linie orizontală întreruptă indică valoarea p unde distribuțiile se suprapun. La stânga liniei, sub ipoteza alternativă, se află eroarea de tip II; la dreapta se află puterea.

Puterea

  • Determinarea mărimii eșantionului necesar
  • Verificarea fiabilității rezultatelor
A/B Testing în R

Mărimea eșantionului

  • Mărimea estimată a efectului
  • Puterea estimată (de obicei 0,8)
  • Alfa (de obicei 0,05)

Distribuții suprapuse pentru diferite mărimi de eșantion, unde un eșantion mai mic are o distribuție mai îngustă. Linia pentru eșantionul mic indică necesitatea unui t mai mare pentru a atinge semnificația.

library(pwr)
pwr.t.test(d = .8, power = 0.8,

           sig.level = 0.05,

           type = "one.sample",

           alternative = "two.sided")

     One-sample t test power calculation 
              n = 14.30276
              d = 0.8
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
A/B Testing în R

Mărimea efectului

  • Mărimea așteptată a efectului
  • Media grupului de control - media grupului experimental

O distribuție normală a ipotezei nule în stânga și a ipotezei alternative în dreapta, parțial suprapuse. O linie orizontală întreruptă indică valoarea p unde distribuțiile se suprapun. La stânga liniei, sub ipoteza alternativă, se află eroarea de tip II; la dreapta se află puterea. O bară roșie indică mărimea efectului ca diferență între vârfurile celor două distribuții.

Înainte de analiză

Determinați mărimea efectului cu:

  • Informații de fundal
  • Date preliminare

 

După analiză

Determinați mărimea efectului cu:

  • Setul complet de date
A/B Testing în R

Analiza puterii testului

Putere mai mare = probabilitate mai mare de a respinge corect ipoteza nulă

Trei aspecte necesare:

  • Mărimea eșantionului
  • Mărimea efectului
  • Alfa
library(pwr)
pwr.t.test(n = 20, sig.level = 0.045, 
           d = .81, type = "one.sample")

     One-sample t test power calculation 
              n = 20
              d = 0.81
      sig.level = 0.045
          power = 0.9223189
    alternative = two.sided
A/B Testing în R

Distribuțiile pizzei

Distribuții similare

Fără diferență semnificativă

Două histograme, Pepperoni în roz și Cheese în albastru, cu valorile primite pe axa x și frecvența pe axa y, vârfurile aproape unul de celălalt pe axa x.

Distribuții diferite

Diferență probabil semnificativă

Două histograme, Pepperoni în roz și Cheese în albastru, cu valorile primite pe axa x și frecvența pe axa y, vârfurile separate pe axa x.

A/B Testing în R

Ipotezele pizzei

Distribuția ipotezei nule în roz cu o diferență de medie de 0 și distribuția ipotezei alternative în albastru cu o diferență de medie de 3,5, valoarea critică reprezentată printr-o linie verticală la 1,64.

  • Similare: la stânga valorii de respingere
  • Diferite: la dreapta valorii de respingere
library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)
A/B Testing în R

Puterea pizzei

Distribuția ipotezei nule în roz cu o diferență de medie de 0 și distribuția ipotezei alternative în albastru cu o diferență de medie de 3,5, valoarea critică reprezentată printr-o linie verticală la 1,64.

  • Similare: la stânga valorii de respingere
  • Diferite: la dreapta valorii de respingere
  • Puterea: probabilitatea de a nu concluziona eronat că distribuțiile sunt similare (eroare de tip II)
library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)
A/B Testing în R

Să exersăm!

A/B Testing în R

Preparing Video For Download...