Testes A/B e design

Testes A/B em R

Lauryn Burleigh

Data Scientist

Testes A/B

  • Técnica estatística
  • Decisões orientadas por dados
  • Testar diferenças e relações
  • Ideal para:
    • Otimizar campanhas de marketing, testar sites e anúncios

Neste curso:

  • Analisar dados de A/B
  • Tomar decisões e fazer previsões

 

Ilustração de um teste A/B mostrando dois tablets semelhantes e porcentagens diferentes para cada um.

Testes A/B em R

Design A/B

  • Impacto de uma condição:
    • Tempo para comer pizza de queijo ou pepperoni

 

  • Grupo A: pizza de queijo
  • Grupo B: pizza de pepperoni
  • Desenho entre sujeitos

Uma pessoa contribui para um grupo.

Testes A/B em R

Grupo de controle

 

 

Grupo A Amigos Charlie, Sam e Hunter escolhem pizza de queijo, formando o grupo A.

  • Grupo de controle

 

 

Grupo B Amigos Jessie, Skylar e Elliot escolhem pizza de pepperoni, formando o grupo B.

  • Grupo experimental
Testes A/B em R

Organização do data frame

Formato wide

  • Grupos em colunas diferentes
  • NAs por causa do design entre sujeitos
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Formato long

  • Grupos indicados em uma coluna
  • Formato preferido
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
Testes A/B em R

De wide para long

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
Testes A/B em R

Visualizar agrupamentos

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Histograma da distribuição da velocidade de comer Pepperoni (larga) e da pizza de Cheese (estreita).

Testes A/B em R

Separar agrupamentos

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Histograma da velocidade de comer Pepperoni com tempo médio de 7 e da pizza de Cheese com tempo médio de 5.

Testes A/B em R

Hipóteses de teste A/B

Comparar medida entre grupos

  • Pizza de queijo é apreciada de forma diferente da de pepperoni
  • Pizza de queijo é comida em velocidade diferente da de pepperoni

Diferença entre condições

Relação da medida nos grupos

  • Apreciação se associa à velocidade de comer
  • Ambos os grupos (Cheese e Pepperoni): apreciação da pizza se associa à velocidade de comer
  • Um grupo (Cheese): apreciação da pizza de queijo se associa à velocidade de comer pizza de queijo

Tendência entre medidas

Testes A/B em R

Vamos praticar!

Testes A/B em R

Preparing Video For Download...