Síla testu a velikost vzorku

A/B testování v R

Lauryn Burleigh

Data Scientist

Definice síly testu

  • Pravděpodobnost zamítnutí nulové hypotézy, když je nepravdivá
  • Nedopouštění se chyby II. druhu (nezamítnutí nulové hypotézy)
  • Ideál: malá chyba II. druhu, velká síla testu

Normální rozdělení nulové hypotézy vlevo a alternativní hypotézy vpravo, částečně se překrývající. Přerušovaná vodorovná čára označuje p-hodnotu v místě překryvu. Vlevo od čáry pod alternativní hypotézou je chyba II. druhu, vpravo síla testu.

A/B testování v R

Přínosy síly testu

Užitečnost testu

  • Zamítnutí nulové hypotézy, když by měla být zamítnuta

Normální rozdělení nulové hypotézy vlevo a alternativní hypotézy vpravo, částečně se překrývající. Přerušovaná vodorovná čára označuje p-hodnotu v místě překryvu. Vlevo od čáry pod alternativní hypotézou je chyba II. druhu, vpravo síla testu.

Síla testu

  • Určení potřebné velikosti vzorku
  • Ověření spolehlivosti výsledků
A/B testování v R

Velikost vzorku

  • Odhadovaná velikost efektu
  • Odhadovaná síla testu (obvykle 0,8)
  • Alfa (obvykle 0,05)

Překrývající se rozdělení pro různé velikosti vzorku; menší vzorek má užší rozdělení než větší vzorky pro hodnotu t na ose x. Křivka malého vzorku naznačuje, že k dosažení signifikance je potřeba vyšší hodnota t.

library(pwr)
pwr.t.test(d = .8, power = 0.8,

           sig.level = 0.05,

           type = "one.sample",

           alternative = "two.sided")

     One-sample t test power calculation 
              n = 14.30276
              d = 0.8
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
A/B testování v R

Velikost efektu

  • Očekávaná velikost efektu
  • Průměr kontrolní skupiny – průměr experimentální skupiny

Normální rozdělení nulové hypotézy vlevo a alternativní hypotézy vpravo, částečně se překrývající. Přerušovaná vodorovná čára označuje p-hodnotu v místě překryvu. Vlevo od čáry pod alternativní hypotézou je vyznačena chyba II. druhu, vpravo síla testu. Červená lišta označuje velikost efektu jako rozdíl vrcholů obou rozdělení.

Před analýzou

Velikost efektu zjistíme z:

  • Informací z pozadí
  • Předběžných dat

 

Po analýze

Velikost efektu zjistíme z:

  • Celého datového souboru
A/B testování v R

Analýza síly testu

Vyšší síla = vyšší pravděpodobnost správného zamítnutí nulové hypotézy

Tři potřebné aspekty:

  • Velikost vzorku
  • Velikost efektu
  • Alfa
library(pwr)
pwr.t.test(n = 20, sig.level = 0.045, 
           d = .81, type = "one.sample")

     One-sample t test power calculation 
              n = 20
              d = 0.81
      sig.level = 0.045
          power = 0.9223189
    alternative = two.sided
A/B testování v R

Rozdělení pizz

Podobná rozdělení

Žádný významný rozdíl

Dva histogramy – Pepperoni růžově a Cheese modře – s hodnotami na ose x a četnostmi na ose y; vrcholy jsou blízko sebe.

Různá rozdělení

Pravděpodobně významný rozdíl

Dva histogramy – Pepperoni růžově a Cheese modře – s hodnotami na ose x a četnostmi na ose y; vrcholy jsou od sebe vzdáleny.

A/B testování v R

Hypotézy pro pizzu

Rozdělení nulové hypotézy růžově s průměrným rozdílem 0 a alternativní hypotézy modře s průměrným rozdílem 3,5; kritická hodnota zamítnutí je vyznačena svislou čarou na hodnotě 1,64.

  • Podobné: vlevo od kritické hodnoty
  • Různé: vpravo od kritické hodnoty
library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)
A/B testování v R

Síla testu pro pizzu

Rozdělení nulové hypotézy růžově s průměrným rozdílem 0 a alternativní hypotézy modře s průměrným rozdílem 3,5; kritická hodnota zamítnutí je vyznačena svislou čarou na hodnotě 1,64.

  • Podobné: vlevo od kritické hodnoty
  • Různé: vpravo od kritické hodnoty
  • Síla testu: pravděpodobnost, že nebudeme chybně považovat rozdělení přísad za shodná (chyba II. druhu)
library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)
A/B testování v R

Lass uns üben!

A/B testování v R

Preparing Video For Download...