Poder e tamanho da amostra

Testes A/B em R

Lauryn Burleigh

Data Scientist

Definição de poder

Probabilidade de rejeitar a hipótese nula quando é falsa
Não cometer erro Tipo II ao não rejeitar a nula
Ideal: baixo erro Tipo II, alto poder

Uma distribuição normal da hipótese nula à esquerda e da hipótese alternativa à direita, parcialmente sobrepostas. Uma linha horizontal tracejada indica o p-valor onde as distribuições se sobrepõem. À esquerda da linha sob a alternativa indica o erro Tipo II e à direita indica o poder.

Benefícios do poder

Utilidade do teste

Rejeitar a hipótese nula quando deve ser

Poder

Determinar o tamanho de amostra necessário
Verificar se os resultados são confiáveis

Tamanho da amostra

Tamanho de efeito estimado
Poder estimado (geralmente 0,8)
Alfa (geralmente 0,05)

Distribuições sobrepostas para vários tamanhos de amostra onde uma amostra menor tem distribuição mais estreita que amostras maiores para um valor t no eixo x. A linha de amostra menor indica que amostras menores precisam de t maior para alcançar significância.

library(pwr)
pwr.t.test(d = .8, power = 0.8,

           sig.level = 0.05,

           type = "one.sample",

           alternative = "two.sided")

     One-sample t test power calculation 
              n = 14.30276
              d = 0.8
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

Tamanho de efeito

Tamanho de efeito esperado
Média do controle − média do experimental

Antes da análise

Encontrar o tamanho de efeito com:

Informações de base
Dados preliminares

Depois da análise

Encontrar o tamanho de efeito com:

Conjunto de dados completo

Análise de poder do teste

Maior poder = maior probabilidade de rejeitar corretamente a hipótese nula

Três aspectos necessários:

Tamanho da amostra
Tamanho de efeito
Alfa

library(pwr)
pwr.t.test(n = 20, sig.level = 0.045, 
           d = .81, type = "one.sample")

     One-sample t test power calculation 
              n = 20
              d = 0.81
      sig.level = 0.045
          power = 0.9223189
    alternative = two.sided

Distribuições de pizza

Distribuições semelhantes

Sem diferença significativa

Dois histogramas, Pepperoni em rosa e Cheese em azul, com os valores no eixo x e a contagem no eixo y, com picos próximos no eixo x.

Distribuições diferentes

Provável diferença significativa

Dois histogramas, Pepperoni em rosa e Cheese em azul, com os valores no eixo x e a contagem no eixo y, com picos separados no eixo x.

Hipóteses da pizza

Distribuição da hipótese nula em rosa com diferença média de 0 e da hipótese alternativa em azul com diferença média de 3,5; o valor crítico de rejeição é uma linha vertical em 1,64.

Semelhantes: à esquerda do valor de rejeição
Diferentes: à direita do valor de rejeição

library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)

Poder da pizza

Distribuição da hipótese nula em rosa com diferença média de 0 e da hipótese alternativa em azul com diferença média de 3,5; o valor crítico de rejeição é uma linha vertical em 1,64.

Semelhantes: à esquerda do valor de rejeição
Diferentes: à direita do valor de rejeição
Poder: probabilidade de não concluir incorretamente que as distribuições de coberturas são iguais (erro Tipo II)

library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)

Vamos praticar!

Testes A/B em R