Prezentace výsledků A/B testu

A/B testování v R

Lauryn Burleigh

Data Scientist

Vizualizace A/B testů

 

  • Sdílení závěrů mimo datový tým

 

  • Přehledné vizualizace
  • Přesné vyjádření výsledků

Vizualizace A/B testů

A/B testování v R

Sloupcové grafy

  • Hypotéza porovnávající průměry skupin
    • t-test

Vizualizuje:

  • Průměr
  • Chybové úsečky
    • Směrodatná odchylka
    • Standardní chyba
    • Interval spolehlivosti

Sloupcový graf zobrazující průměrnou dobu konzumace pizzy Pepperoni v růžové barvě a pizzy Sýr v modré barvě na ose x. Pro každý sloupec jsou vykresleny chybové úsečky.

A/B testování v R

Formátování dat pro sloupcový graf

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06
A/B testování v R

Sloupcové grafy v praxi

 

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Sloupcový graf zobrazující průměr aktuálního webového designu v růžové barvě a nové varianty v modré barvě na ose x. Pro každý sloupec jsou vykresleny chybové úsečky.

A/B testování v R

Krabicové grafy

  • Porovnání mediánů skupin
    • Mann-Whitney U
    • Chi-square
    • Fisherův exaktní test
    • t-testy
  • Dolní hranice krabice: 25 % datových bodů níže
  • Horní hranice krabice: 75 % datových bodů níže
  • Vousy: nejvyšší a nejnižší hodnoty
    • Odlehlé hodnoty vyloučeny
  • Odlehlé hodnoty: body mimo vousy

Krabicový graf doby konzumace pizzy Pepperoni v růžové barvě a pizzy Sýr v modré barvě.

A/B testování v R

Krabicové grafy v praxi

  • Data v dlouhém formátu
  • Vhodné pro výzkumníky nebo statistiky při hodnocení nenormálních rozdělení

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Krabicový graf doby konzumace pizzy Pepperoni v růžové barvě a pizzy Sýr v modré barvě.

A/B testování v R

Bodové grafy

  • Vztah mezi proměnnými
    • Korelace
  • Každý bod
  • Trend: směr a rychlost

Bodový graf zobrazující dobu konzumace pizzy na ose x a požitek z pizzy na ose y.

A/B testování v R

Bodové grafy v praxi

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

 

Bodový graf kladné korelace s dobou na ose x a požitkem na ose y; každý bod je obarven růžově pro pizzu Pepperoni nebo modře pro pizzu Sýr.

A/B testování v R

Bodové grafy v praxi

  • Filtrování dat pro analýzu jedné skupiny

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

Bodový graf kladné korelace s dobou na ose x a požitkem na ose y pouze pro pizzu Pepperoni.

A/B testování v R

Prezentace dat

Publikum bez statistického zázemí:

  • Statistické hodnoty jsou neinformativní
  • Použijte reálné výsledky
  • Závěr testu
  • Analýza síly testu
  • Chybové úsečky

Ilustrační obrázek prezentace výsledků dat dvěma osobám.

A/B testování v R

Příklad prezentace dat

Výsledky:

  • Signifikantní t-test
  • Síla = 0,9

Prezentace:

  • Byl nalezen signifikantní rozdíl
  • Pizza Pepperoni byla snědena rychleji než pizza Sýr
  • Spolehlivé výsledky
  • Malá variabilita (chybové úsečky)

Sloupcový graf zobrazující průměr aktuálního webového designu v růžové barvě a nové varianty v modré barvě na ose x. Pro každý sloupec jsou vykresleny chybové úsečky.

A/B testování v R

Pojďme si to procvičit!

A/B testování v R

Preparing Video For Download...