A/B testování a design

A/B testování v R

Lauryn Burleigh

Data Scientist

A/B testování

  • Statistická technika
  • Rozhodování na základě dat
  • Testování rozdílů a vztahů
  • Vhodné pro:
    • Optimalizaci marketingu, testování webů a reklam

V tomto kurzu:

  • Analýza dat A/B testů
  • Rozhodování a predikce

 

Ilustrace A/B testu zobrazující dva podobné tablety s různými procenty.

A/B testování v R

Design A/B testu

  • Vliv podmínky:
    • Čas konzumace Cheese nebo Pepperoni pizzy

 

  • Skupina A: Cheese pizza
  • Skupina B: Pepperoni pizza
  • Meziskupinový design

Každý účastník přispívá pouze do jedné skupiny.

A/B testování v R

Kontrolní skupina

 

 

Skupina A Přátelé Charlie, Sam a Hunter si vyberou Cheese pizzu a stávají se skupinou A.

  • Kontrolní skupina

 

 

Skupina B Přátelé Jessie, Skylar a Elliot si vyberou Pepperoni pizzu a stávají se skupinou B.

  • Experimentální skupina
A/B testování v R

Organizace datového rámce

Široký formát

  • Skupiny v různých sloupcích
  • NA kvůli meziskupinovému designu
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Dlouhý formát

  • Skupiny v jednom sloupci
  • Preferovaný formát
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
A/B testování v R

Ze širokého do dlouhého formátu

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
A/B testování v R

Vizualizace skupin

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Histogram širokého rozložení rychlosti konzumace Pepperoni a úzkého rozložení pro Cheese pizzu.

A/B testování v R

Oddělení skupin

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Histogram rychlosti konzumace Pepperoni s průměrným časem 7 a Cheese pizzy s průměrným časem 5.

A/B testování v R

Hypotézy A/B testu

Porovnání hodnot mezi skupinami

  • Cheese pizza je hodnocena jinak než Pepperoni pizza
  • Cheese pizza je jedena jinou rychlostí než Pepperoni pizza

Rozdíl mezi podmínkami

Vztah hodnot uvnitř skupin

  • Spokojenost je spojena s rychlostí konzumace
  • V obou skupinách: spokojenost s pizzou souvisí s rychlostí jejího jedení
  • Jedna skupina (Cheese): spokojenost s Cheese pizzou souvisí s rychlostí jejího jedení

Trend mezi veličinami

A/B testování v R

Pojďme si procvičit!

A/B testování v R

Preparing Video For Download...