A/B-testen en design

A/B-testen in R

Lauryn Burleigh

Data Scientist

A/B-testen

  • Statistische techniek
  • Datagedreven beslissingen
  • Test verschillen en verbanden
  • Ideaal voor:
    • Marketing optimaliseren, websites en advertenties testen

In deze course:

  • A/B-data analyseren
  • Beslissen en voorspellen

 

Illustratie van een A/B-test met twee vergelijkbare tablets en verschillende percentages.

A/B-testen in R

A/B-design

  • Effect van een conditie:
    • Tijd om Cheese- of Pepperoni-pizza te eten

 

  • Groep A: Cheese-pizza
  • Groep B: Pepperoni-pizza
  • Between-subjects-design

Eén subject draagt bij aan één groep.

A/B-testen in R

Controlegroep

 

 

Groep A Vrienden Charlie, Sam en Hunter kiezen Cheese-pizza en vormen groep A.

  • Controlegroep

 

 

Groep B Vrienden Jessie, Skylar en Elliot kiezen Pepperoni-pizza en vormen groep B.

  • Experimentele groep
A/B-testen in R

Dataframe-indeling

Breed formaat

  • Groepen in aparte kolommen
  • NAs door between-subjects-design
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Lang formaat

  • Groepen in één kolom
  • Voorkeursformaat
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
A/B-testen in R

Breed naar lang formaat

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
A/B-testen in R

Groepe­rings­visualisatie

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Histogram van brede Pepperoni-eetsnelheid en smalle Cheese-pizza-eetsnelheid.

A/B-testen in R

Groepen scheiden

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Histogram van Pepperoni-eetsnelheid met een gemiddelde van 7 en Cheese-pizza-eetsnelheid met een gemiddelde van 5.

A/B-testen in R

A/B-testhypothesen

Maat vergelijken tussen groepen

  • Cheese-pizza wordt anders gewaardeerd dan Pepperoni
  • Cheese-pizza wordt in een ander tempo gegeten dan Pepperoni

Verschil tussen condities

Verband van maat binnen groepen

  • Waardering hangt samen met eetsnelheid
  • Beide groepen (Cheese en Pepperoni): waardering hangt samen met eetsnelheid
  • Eén groep (Cheese): waardering van Cheese hangt samen met eetsnelheid van Cheese

Trend tussen maten

A/B-testen in R

Laten we oefenen!

A/B-testen in R

Preparing Video For Download...