Relatando resultados de testes A/B

Testes A/B em R

Lauryn Burleigh

Data Scientist

Visualizações de A/B

 

  • Enviar conclusões para fora da equipe de dados

 

  • Visualizações claras
  • Transmitir achados com precisão

Visualizações de A/B

Testes A/B em R

Gráficos de barras

  • Hipótese comparando médias de grupos
    • t-test

Visualiza:

  • Média
  • Barras de erro
    • Desvio padrão
    • Erro padrão
    • Intervalo de confiança

Um gráfico de barras mostrando a média do tempo para comer pizza de Pepperoni em rosa e para comer pizza de queijo em azul, no eixo x. Barras de erro são plotadas para cada barra.

Testes A/B em R

Formatação de dados para barras

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06
Testes A/B em R

Usando gráficos de barras

 

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Um gráfico de barras mostrando a média do design web atual em rosa e da nova opção de design em azul, no eixo x. Barras de erro são plotadas para cada barra.

Testes A/B em R

Boxplots

  • Comparando medianas de grupos
    • Mann-Whitney U
    • Qui-quadrado
    • Exato de Fisher
    • t-tests
  • Limite inferior da caixa: 25% dos dados abaixo
  • Limite superior da caixa: 75% dos dados abaixo
  • Bigodes: maiores e menores valores
    • Exclui outliers
  • Outliers: pontos fora dos bigodes

Um boxplot do tempo para comer pizza de Pepperoni em rosa e o tempo para comer pizza de queijo em azul.

Testes A/B em R

Usando boxplots

  • Dados em formato longo
  • Ideal para pesquisadores, estatísticos ou para avaliar distribuições não normais

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Um boxplot do tempo para comer pizza de Pepperoni em rosa e o tempo para comer pizza de queijo em azul.

Testes A/B em R

Gráficos de dispersão

  • Relação entre variáveis
    • Correlações
  • Cada ponto
  • Tendência: direção e taxa

Um gráfico de dispersão mostrando o tempo para comer pizza no eixo x e o quanto a pizza foi apreciada no eixo y.

Testes A/B em R

Usando gráficos de dispersão

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

 

Gráfico de dispersão de uma correlação positiva com tempo no eixo x e apreciação no eixo y, com cada ponto colorido em rosa (Pepperoni) ou azul (queijo).

Testes A/B em R

Usando gráficos de dispersão

  • Subconjuntar dados para avaliar um grupo

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

Gráfico de dispersão de uma correlação positiva com tempo no eixo x e apreciação no eixo y apenas para pizza de Pepperoni.

Testes A/B em R

Apresentando dados

Público sem base em estatística:

  • Valores estatísticos não informam
  • Use achados do mundo real
  • Conclusão do teste
  • Análise de poder
  • Barras de erro

Imagem ilustrativa de resultados sendo apresentados a duas pessoas.

Testes A/B em R

Exemplo de apresentação de dados

Resultados:

  • t-test significativo
  • Poder = 0,9

Apresentação:

  • Diferença significativa encontrada
  • Pizza de Pepperoni foi comida mais rápido que a de queijo
  • Resultados confiáveis
  • Sem grande variação (barras de erro)

Um gráfico de barras mostrando a média do design web atual em rosa e da nova opção de design em azul, no eixo x. Barras de erro são plotadas para cada barra.

Testes A/B em R

Vamos praticar!

Testes A/B em R

Preparing Video For Download...