Raportarea rezultatelor testelor A/B

A/B Testing în R

Lauryn Burleigh

Data Scientist

Vizualizări A/B

 

  • Transmiterea concluziilor în afara echipei de date

 

  • Vizualizări clare
  • Transmiterea precisă a rezultatelor

Vizualizări A/B

A/B Testing în R

Diagrame de bare

  • Ipoteză privind compararea mediilor grupurilor
    • Test t

Vizualizează:

  • Media
  • Bare de eroare
    • Deviația standard
    • Eroarea standard
    • Intervalul de încredere

Diagramă de bare cu media timpului de consum al pizzei Pepperoni (roz) și Cheese (albastru), pe axa x. Bare de eroare sunt reprezentate pentru fiecare bară.

A/B Testing în R

Formatarea datelor pentru diagrame de bare

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06
A/B Testing în R

Utilizarea diagramelor de bare

 

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Diagramă de bare cu media designului web actual în roz și a noului design în albastru, pe axa x. Bare de eroare sunt reprezentate pentru fiecare bară.

A/B Testing în R

Diagrame de tip cutie

  • Compararea medianelor grupurilor
    • Mann-Whitney U
    • Chi-pătrat
    • Testul exact Fisher
    • Teste t
  • Limita inferioară a cutiei: 25% din date sub aceasta
  • Limita superioară a cutiei: 75% din date sub aceasta
  • Mustăți: valorile cele mai mici și mai mari
    • Valorile aberante sunt excluse
  • Valori aberante: puncte în afara mustăților

Diagramă de tip cutie pentru timpul de consum al pizzei Pepperoni (roz) și al pizzei Cheese (albastru).

A/B Testing în R

Utilizarea diagramelor de tip cutie

  • Date în format lung
  • Ideal pentru cercetători, statisticieni sau evaluarea distribuțiilor non-normale

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Diagramă de tip cutie pentru timpul de consum al pizzei Pepperoni (roz) și al pizzei Cheese (albastru).

A/B Testing în R

Diagrame de dispersie

  • Relația dintre variabile
    • Corelații
  • Fiecare punct
  • Tendință: direcție și rată

Diagramă de dispersie cu timpul de consum al pizzei pe axa x și plăcerea față de pizza pe axa y.

A/B Testing în R

Utilizarea diagramelor de dispersie

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

 

Diagramă de dispersie cu corelație pozitivă: timp pe axa x și plăcere pe axa y; punctele sunt colorate în roz pentru Pepperoni și albastru pentru Cheese.

A/B Testing în R

Utilizarea diagramelor de dispersie

  • Subsetați datele pentru a analiza un singur grup

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

Diagramă de dispersie cu corelație pozitivă: timp pe axa x și plăcere pe axa y, doar pentru pizza Pepperoni.

A/B Testing în R

Prezentarea datelor

Publicul fără pregătire statistică:

  • Valorile statistice sunt neinformative
  • Utilizați concluzii practice
  • Concluzia testului
  • Analiza puterii
  • Bare de eroare

Imagine ilustrativă cu prezentarea rezultatelor de date către două persoane.

A/B Testing în R

Exemplu de prezentare a datelor

Rezultate:

  • Test t semnificativ
  • Putere = 0,9

Prezentare:

  • S-a constatat o diferență semnificativă
  • Pizza Pepperoni a fost consumată mai rapid decât Cheese
  • Rezultate fiabile
  • Variație redusă (bare de eroare)

Diagramă de bare cu media designului web actual în roz și a noului design în albastru, pe axa x. Bare de eroare sunt reprezentate pentru fiecare bară.

A/B Testing în R

Să exersăm!

A/B Testing în R

Preparing Video For Download...