A/B-testresultaten rapporteren

A/B-testen in R

Lauryn Burleigh

Data Scientist

A/B-visualisaties

Deel conclusies buiten het datateam

Duidelijke visualisaties
Bevindingen correct overbrengen

A/B-visualisaties

Staafdiagrammen

Hypothese: groepsgemiddelden vergelijken
- t-test

Toont:

Gemiddelde
Foutbalken
- Standaarddeviatie
- Standaardfout
- Betrouwbaarheidsinterval

Een staafdiagram met het gemiddelde van de tijd om Pepperoni-pizza te eten in roze en Cheese-pizza in blauw op de x-as. Voor elke staaf staan foutbalken.

Staafdata formatteren

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06

Staafdiagrammen gebruiken

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Een staafdiagram met het gemiddelde van het huidige webdesign in roze en de nieuwe optie in blauw op de x-as. Voor elke staaf staan foutbalken.

Boxplots

Groepsmediaan vergelijken
- Mann-Whitney U
- Chi-kwadraat
- Fisher’s exact
- t-toetsen
Onderkant box: 25% van de punten eronder
Bovenkant box: 75% van de punten eronder
Snorharen: hoogste en laagste waarden
- Uitschieters uitgesloten
Uitschieters: punt buiten snorharen

Een boxplot van de tijd om Pepperoni-pizza te eten in roze en Cheese-pizza in blauw.

Boxplots gebruiken

Data in long format
Ideaal voor onderzoekers/statistici of voor niet-normale verdelingen beoordelen

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Een boxplot van de tijd om Pepperoni-pizza te eten in roze en Cheese-pizza in blauw.

Spreidingsdiagrammen

Relatie tussen variabelen
- Correlaties
Elk punt = een observatie
Trend: richting en sterkte

Een spreidingsdiagram met de tijd om pizza te eten op de x-as en het plezier van pizza op de y-as.

Spreidingsdiagrammen gebruiken

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

Spreidingsdiagram met een positieve correlatie: tijd op de x-as en plezier op de y-as; punten roze voor Pepperoni en blauw voor Cheese.

Spreidingsdiagrammen gebruiken

Subset data om één groep te beoordelen

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

Spreidingsdiagram met een positieve correlatie: tijd op de x-as en plezier op de y-as, alleen voor Pepperoni-pizza.

Data presenteren

Publiek zonder statistische achtergrond:

Statistische waarden zeggen weinig
Gebruik bevindingen uit de praktijk
Testconclusie
Power-analyse
Foutbalken

Stockfoto van dataresultaten die aan twee personen worden gepresenteerd.

Voorbeeld: data presenteren

Resultaten:

Significante t-test
Power = 0,9

Presentatie:

Significante verschillen gevonden
Pepperoni werd sneller gegeten dan Cheese
Betrouwbare resultaten
Geen grote spreiding (foutbalken)

Een staafdiagram met het gemiddelde van het huidige webdesign in roze en de nieuwe optie in blauw op de x-as. Voor elke staaf staan foutbalken.

Laten we oefenen!

A/B-testen in R