A/B-testning och design

A/B-testning i R

Lauryn Burleigh

Data Scientist

A/B-testning

  • Statistisk metod
  • Datadrivna beslut
  • Testa skillnader och samband
  • Passar för:
    • Optimera marknadsföring, testa webbplatser och annonser

I den här kursen:

  • Analysera A/B-data
  • Ta beslut och göra prediktioner

 

Illustration av ett A/B-test med två liknande surfplattor och olika procentandelar för varje.

A/B-testning i R

A/B-design

  • Effekt av ett villkor:
    • Tid att äta ost- eller pepperonipizza

 

  • Grupp A: Ostpizza
  • Grupp B: Pepperonipizza
  • Mellangruppdesign

En deltagare bidrar till en grupp.

A/B-testning i R

Kontrollgrupp

 

 

Grupp A Vännerna Charlie, Sam och Hunter väljer ostpizza och blir grupp A.

  • Kontrollgrupp

 

 

Grupp B Vännerna Jessie, Skylar och Elliot väljer pepperonipizza och blir grupp B.

  • Experimentgrupp
A/B-testning i R

Organisera dataramen

Brett format

  • Grupper i olika kolumner
  • NA:n på grund av mellangruppdesign
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Långt format

  • Grupper angivna i en kolumn
  • Rekommenderat format
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
A/B-testning i R

Från brett till långt format

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
A/B-testning i R

Visualisera grupperingar

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Histogram med bred fördelning för ättid för pepperonipizza och smal fördelning för ostpizza.

A/B-testning i R

Separera grupperingar

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Histogram för ättid för pepperonipizza med medelvärde 7 och ostpizza med medelvärde 5.

A/B-testning i R

Hypoteser för A/B-test

Jämför mått mellan grupper

  • Ostpizza njuts i olika hög grad jämfört med pepperonipizza
  • Ostpizza äts i olika snabb takt jämfört med pepperonipizza

Skillnad mellan villkor

Samband mellan mått inom grupper

  • Njutning är kopplad till ättakt
  • I båda grupperna: njutning av pizza är kopplad till ättakt
  • I en grupp (ost): njutning av ostpizza är kopplad till ättakt för ostpizza

Trend mellan mått

A/B-testning i R

Nu kör vi en övning!

A/B-testning i R

Preparing Video For Download...