Considerações em testes A/B

Testes A/B em R

Lauryn Burleigh

Data Scientist

Considerações sobre testes A/B

Use A/B apenas se...

  • Sujeitos/tráfego são relevantes
  • Há tempo para projetar e testar
  • Hipótese clara

Considerações de teste A/B

  • Flutuações nos dados
  • Número de variáveis
  • Regressão à média
Testes A/B em R

Flutuações nos dados

  • Para precisão, represente a população inteira
  • Flutuações afetam os resultados
    • Mudança nos sujeitos
    • Dia da semana
    • Feriados
    • Opinião pública

Gráfico de linhas mostrando usuários recorrentes caindo e depois voltando, e novos usuários aumentando.

Número de vendas aumenta nas férias de inverno.

Número de vendas sobe durante uma promoção e cai fora dela.

Testes A/B em R

Exemplo de flutuações

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Um histograma de 10 pontos de dados distribuídos por todo o eixo x.

Um histograma de 10 pontos com barras no início, meio e fim do eixo x.

Um histograma de 10 pontos com barras mais concentradas no meio do eixo x.

Testes A/B em R

Número de variáveis

  • Uma variável — ideal
  • Uma cobertura/uma variável
    • Avaliar cobertura/condição individual
    • Queijo: variável de controle
    • Pepperoni: variável de cobertura
  • Duas coberturas/várias variáveis
    • Avaliar combinações
    • Pares: pimentão e cebola; azeitona e alho
    • Sem controle

Pizzas de queijo e pepperoni (uma cobertura) com 3 sujeitos em cada grupo e pizzas de duas coberturas pimentão com cebola e azeitona com alho com 3 sujeitos em cada.

Testes A/B em R

Variáveis e erro Tipo I

  • Mais variáveis -> mais análises
    • Maior taxa de erro Tipo I
  • Significância comum: 5%
    • alfa: 0,05
    • 5% de chance de erro Tipo I
  • Nível de confiança: 100 - significância
    • Usado para calcular a taxa de erro familiar
      • 1 - Probabilidade de nenhum falso positivo

Calcular a taxa de erro familiar

  • Significância: 5%
  • Nível de confiança: 95%
  • Testes a executar: 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

Testes A/B em R

Regressão à média

  • Valores extremos se diluem com mais dados
  • Risco de erro Tipo I
  • Compare com um grupo de controle

Gráfico de linhas mostrando muitas novas submissões no início e regressão à média com o tempo.

Gráfico de linhas sem mudança nas submissões para o botão original, enquanto o grupo com mudança começa alto e regride à média, encontrando os dados sem mudança.

Testes A/B em R

Regressão à média

  • Amostras pequenas são imprecisas
  • Risco de erro Tipo I
  • Mais dados -> média real
ID Satisfação [1-10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
Testes A/B em R

Vamos praticar!

Testes A/B em R

Preparing Video For Download...