Testy A/B i projekt badania

Testy A/B w R

Lauryn Burleigh

Data Scientist

Testowanie A/B

  • Technika statystyczna
  • Decyzje oparte na danych
  • Testowanie różnic i zależności
  • Idealna do:
    • Optymalizacji kampanii marketingowych, testowania stron i reklam

W tym kursie:

  • Analiza danych A/B
  • Podejmowanie decyzji i prognozowanie

 

Ilustracja testu A/B przedstawiająca dwa podobne tablety z różnymi procentami dla każdego.

Testy A/B w R

Projekt A/B

  • Wpływ warunku:
    • Czas jedzenia pizzy Cheese lub Pepperoni

 

  • Grupa A: pizza Cheese
  • Grupa B: pizza Pepperoni
  • Projekt między-grupowy

Jeden uczestnik należy do jednej grupy.

Testy A/B w R

Grupa kontrolna

 

 

Grupa A Przyjaciele Charlie, Sam i Hunter wybierają pizzę Cheese, tworząc grupę A.

  • Grupa kontrolna

 

 

Grupa B Przyjaciele Jessie, Skylar i Elliot wybierają pizzę Pepperoni, tworząc grupę B.

  • Grupa eksperymentalna
Testy A/B w R

Organizacja ramki danych

Format szeroki

  • Grupy w osobnych kolumnach
  • Wartości NA ze względu na projekt między-grupowy
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Format długi

  • Grupy w jednej kolumnie
  • Preferowany format
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
Testy A/B w R

Z formatu szerokiego do długiego

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
Testy A/B w R

Wizualizacja grup

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Histogram przedstawiający szerokie rozkłady czasu jedzenia Pepperoni i wąskie rozkłady czasu jedzenia pizzy Cheese.

Testy A/B w R

Rozdzielenie grup

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Histogram czasu jedzenia Pepperoni ze średnią 7 oraz czasu jedzenia pizzy Cheese ze średnią 5.

Testy A/B w R

Hipotezy testu A/B

Porównanie miary między grupami

  • Pizza Cheese jest lubiana w różnym stopniu niż pizza Pepperoni
  • Pizza Cheese jest jedzona z inną prędkością niż pizza Pepperoni

Różnica między warunkami

Zależność miary w grupach

  • Zadowolenie jest powiązane z prędkością jedzenia
  • Obie grupy (Cheese i Pepperoni): zadowolenie z pizzy wiąże się z prędkością jej jedzenia
  • Jedna grupa (Cheese): zadowolenie z pizzy Cheese wiąże się z prędkością jej jedzenia

Trend między miarami

Testy A/B w R

Czas na ćwiczenia!

Testy A/B w R

Preparing Video For Download...