Report dei risultati A/B

A/B Testing in R

Lauryn Burleigh

Data Scientist

Visualizzazioni A/B

 

  • Condividi le conclusioni oltre il team dati

 

  • Visualizzazioni chiare
  • Risultati comunicati con precisione

Visualizzazioni A/B

A/B Testing in R

Grafici a barre

  • Ipotesi che confronta le medie dei gruppi
    • t-test

Mostra:

  • Media
  • Barre d’errore
    • Deviazione standard
    • Errore standard
    • Intervallo di confidenza

Grafico a barre con la media del tempo per mangiare la Pepperoni in rosa e la Margherita in blu sull’asse x. Barre d’errore per ogni barra.

A/B Testing in R

Formattazione dei dati per barre

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06
A/B Testing in R

Uso dei grafici a barre

 

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Un grafico a barre con la media del design web attuale in rosa e della nuova opzione in blu sull’asse x. Barre d’errore per ogni barra.

A/B Testing in R

Box plot

  • Confronto delle mediane dei gruppi
    • Mann-Whitney U
    • Chi quadrato
    • Fisher esatto
    • t-test
  • Limite basso del box: 25% dei punti sotto
  • Limite alto del box: 75% dei punti sotto
  • Baffi: valori min e max
    • Outlier esclusi
  • Outlier: punto fuori dai baffi

Box plot del tempo per mangiare la pizza Pepperoni in rosa e la pizza Margherita in blu.

A/B Testing in R

Uso dei box plot

  • Dati in formato long
  • Ideali per ricercatori/statistici o per distribuzioni non normali

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Box plot del tempo per mangiare la pizza Pepperoni in rosa e la pizza Margherita in blu.

A/B Testing in R

Scatter plot

  • Relazione tra variabili
    • Correlazioni
  • Ogni punto = un’osservazione
  • Trend: direzione e intensità

Scatter plot con tempo per mangiare la pizza sull’asse x e gradimento sull’asse y.

A/B Testing in R

Uso degli scatter plot

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

 

Scatter plot di una correlazione positiva con tempo sull’asse x e gradimento sull’asse y; ogni punto è rosa (Pepperoni) o blu (Margherita).

A/B Testing in R

Uso degli scatter plot

  • Sottoinsiema per analizzare un solo gruppo

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

Scatter plot di una correlazione positiva con tempo sull’asse x e gradimento sull’asse y solo per la pizza Pepperoni.

A/B Testing in R

Presentare i dati

Pubblico senza basi di statistica:

  • Valori statistici poco utili
  • Usa risultati concreti
  • Conclusione del test
  • Analisi di potenza
  • Barre d’errore

Immagine stock di risultati presentati a due persone.

A/B Testing in R

Esempio di presentazione dati

Risultati:

  • t-test significativo
  • Potenza = 0,9

Presentazione:

  • Trovata differenza significativa
  • La Pepperoni è stata mangiata più in fretta della Margherita
  • Risultati affidabili
  • Nessuna grande variazione (barre d’errore)

Un grafico a barre con la media del design web attuale in rosa e della nuova opzione in blu sull’asse x. Barre d’errore per ogni barra.

A/B Testing in R

Ayo berlatih!

A/B Testing in R

Preparing Video For Download...