Test A/B e design

A/B Testing in R

Lauryn Burleigh

Data Scientist

Test A/B

  • Tecnica statistica
  • Decisioni guidate dai dati
  • Testa differenze e relazioni
  • Ideale per:
    • Ottimizzare campagne marketing, testare siti e annunci

In questo corso:

  • Analizzare dati A/B
  • Prendere decisioni e fare previsioni

 

Illustrazione di un test A/B con due tablet simili e percentuali diverse.

A/B Testing in R

Design A/B

  • Impatto di una condizione:
    • Tempo per mangiare pizza Cheese o Pepperoni

 

  • Gruppo A: pizza Cheese
  • Gruppo B: pizza Pepperoni
  • Design tra soggetti

Un soggetto contribuisce a un solo gruppo.

A/B Testing in R

Gruppo di controllo

 

 

Gruppo A Gli amici Charlie, Sam e Hunter scelgono la pizza Cheese, diventando il gruppo A.

  • Gruppo di controllo

 

 

Gruppo B Gli amici Jessie, Skylar ed Elliot scelgono la pizza Pepperoni, diventando il gruppo B.

  • Gruppo sperimentale
A/B Testing in R

Organizzazione del data frame

Formato wide

  • Gruppi in colonne diverse
  • NA per design tra soggetti
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Formato long

  • Gruppi indicati in una colonna
  • Formato preferito
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
A/B Testing in R

Da wide a long

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
A/B Testing in R

Visualizza i gruppi

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Istogramma: distribuzione della velocità di consumo Pepperoni più ampia e Cheese più stretta.

A/B Testing in R

Separa i gruppi

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Istogrammi: Pepperoni con tempo medio 7 e Cheese con tempo medio 5.

A/B Testing in R

Ipotesi nel test A/B

Confronto tra gruppi

  • La pizza Cheese piace in modo diverso rispetto alla Pepperoni
  • La pizza Cheese si mangia a velocità diversa dalla Pepperoni

Differenza tra condizioni

Relazione della misura nei gruppi

  • Il gradimento è associato alla velocità di consumo
  • In Cheese e Pepperoni: gradimento associato alla velocità
  • In un solo gruppo (Cheese): gradimento di Cheese associato alla velocità di consumo di Cheese

Trend tra misure

A/B Testing in R

Passons à la pratique !

A/B Testing in R

Preparing Video For Download...