Rapportera A/B-testresultat

A/B-testning i R

Lauryn Burleigh

Data Scientist

A/B-visualiseringar

Kommunicera slutsatser utanför datateamet

Tydliga visualiseringar
Förmedla fynd korrekt

A/B-visualiseringar

Stapeldiagram

Hypotes som jämför gruppmedelvärden
- t-test

Visualiserar:

Medelvärde
Felstaplar
- Standardavvikelse
- Standardfel
- Konfidensintervall

Ett stapeldiagram som visar medelvärdet för tid att äta Pepperoni-pizza i rosa och tid att äta ostpizza i blått på x-axeln. Felstaplar visas för varje stapel.

Formatera stapeldata

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06

Använda stapeldiagram

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Ett stapeldiagram som visar medelvärdet för den nuvarande webbdesignen i rosa och det nya webbdesignalternativet i blått på x-axeln. Felstaplar visas för varje stapel.

Lådagram

Jämföra gruppmedianvärden
- Mann-Whitney U
- Korstabellstest (chi-två)
- Fishers exakta test
- t-test
Lådans nedre gräns: 25 % av datapunkterna nedan
Lådans övre gräns: 75 % av datapunkterna nedan
Morrhår: högsta och lägsta värden
- Extremvärden exkluderas
Extremvärden: punkter utanför morrhåren

Ett lådagram för tid att äta Pepperoni-pizza i rosa och tid att äta ostpizza i blått.

Använda lådagram

Data i långformat
Passar forskare och statistiker, eller vid bedömning av icke-normalfördelade data

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Ett lådagram för tid att äta Pepperoni-pizza i rosa och tid att äta ostpizza i blått.

Spridningsdiagram

Samband mellan variabler
- Korrelationer
Varje datapunkt
Trend: riktning och hastighet

Ett spridningsdiagram med tid att äta pizza på x-axeln och njutning av pizza på y-axeln.

Använda spridningsdiagram

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

Spridningsdiagram med positiv korrelation med tid på x-axeln och njutning på y-axeln, där varje punkt är rosa för Pepperoni-pizza och blå för ostpizza.

Använda spridningsdiagram

Filtrera data för att analysera en grupp

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

Spridningsdiagram med positiv korrelation med tid på x-axeln och njutning på y-axeln, enbart för Pepperoni-pizza.

Presentera data

Publiken saknar statistikbakgrund:

Statistiska värden är svårtolkade
Använd konkreta fynd
Testets slutsats
Styrkeanalys
Felstaplar

Stockbild av dataresultat som presenteras för två personer.

Exempel på datapresentation

Resultat:

Signifikant t-test
Styrka = 0,9

Presentationen:

En signifikant skillnad hittades
Pepperoni-pizza åts snabbare än ostpizza
Tillförlitliga resultat
Liten variation (felstaplar)

Ett stapeldiagram som visar medelvärdet för den nuvarande webbdesignen i rosa och det nya webbdesignalternativet i blått på x-axeln. Felstaplar visas för varje stapel.

Nu kör vi en övning!

A/B-testning i R