Testarea A/B și design

A/B Testing în R

Lauryn Burleigh

Data Scientist

Testarea A/B

  • Tehnică statistică
  • Decizii bazate pe date
  • Testarea diferențelor și relațiilor
  • Ideal pentru:
    • Optimizarea campaniilor de marketing, testarea site-urilor și reclamelor

În acest curs:

  • Analiza datelor A/B
  • Luarea deciziilor și predicții

 

Ilustrație a unui test A/B cu două tablete similare și procente diferite pentru fiecare.

A/B Testing în R

Designul A/B

  • Impactul unei condiții:
    • Timpul de mâncare pentru pizza Cheese sau Pepperoni

 

  • Grupul A: pizza Cheese
  • Grupul B: pizza Pepperoni
  • Design între subiecți

Un subiect contribuie la un singur grup.

A/B Testing în R

Grupul de control

 

 

Grupul A Prietenii Charlie, Sam și Hunter aleg pizza Cheese, formând grupul A.

  • Grup de control

 

 

Grupul B Prietenii Jessie, Skylar și Elliot aleg pizza Pepperoni, formând grupul B.

  • Grup experimental
A/B Testing în R

Organizarea datelor

Format lat

  • Grupuri în coloane diferite
  • NA din cauza designului între subiecți
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Format lung

  • Grupuri notate într-o singură coloană
  • Format preferat
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
A/B Testing în R

Din format lat în format lung

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
A/B Testing în R

Vizualizarea grupurilor

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Histogramă cu distribuția vitezei de mâncare pentru Pepperoni (largă) și Cheese (îngustă).

A/B Testing în R

Separarea grupurilor

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Histogramă cu viteza de mâncare pentru Pepperoni (medie ~7) și Cheese (medie ~5).

A/B Testing în R

Ipoteze în testarea A/B

Compararea măsurii între grupuri

  • Pizza Cheese este apreciată diferit față de pizza Pepperoni
  • Pizza Cheese este mâncată la o viteză diferită față de pizza Pepperoni

Diferență între condiții

Relația dintre măsuri în cadrul grupurilor

  • Aprecierea este asociată cu viteza de mâncare
  • Ambele grupuri (Cheese și Pepperoni): aprecierea pizzei este asociată cu viteza de mâncare
  • Un singur grup (Cheese): aprecierea pizzei Cheese este asociată cu viteza de mâncare

Tendință între măsuri

A/B Testing în R

Să exersăm!

A/B Testing în R

Preparing Video For Download...