Raportowanie wyników testów A/B

Testy A/B w R

Lauryn Burleigh

Data Scientist

Wizualizacje A/B

 

  • Przekazywanie wniosków poza zespół danych

 

  • Przejrzyste wizualizacje
  • Dokładne przedstawianie wyników

Wizualizacje A/B

Testy A/B w R

Wykresy słupkowe

  • Hipoteza porównująca średnie grup
    • Test t

Wizualizuje:

  • Średnią
  • Słupki błędów
    • Odchylenie standardowe
    • Błąd standardowy
    • Przedział ufności

Wykres słupkowy przedstawiający średni czas jedzenia pizzy Pepperoni (kolor różowy) i pizzy Cheese (kolor niebieski) na osi X. Dla każdego słupka zaznaczono słupki błędów.

Testy A/B w R

Formatowanie danych dla wykresów słupkowych

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06
Testy A/B w R

Wykresy słupkowe – użycie

 

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Wykres słupkowy przedstawiający średnią dla aktualnego projektu strony (kolor różowy) i nowej opcji (kolor niebieski) na osi X. Dla każdego słupka zaznaczono słupki błędów.

Testy A/B w R

Wykresy pudełkowe

  • Porównywanie median grup
    • Test U Manna-Whitneya
    • Chi-kwadrat
    • Dokładny test Fishera
    • Testy t
  • Dolna granica pudełka: 25% danych poniżej
  • Górna granica pudełka: 75% danych poniżej
  • Wąsy: najwyższe i najniższe wartości
    • Wartości odstające wykluczone
  • Wartości odstające: punkty poza wąsami

Wykres pudełkowy przedstawiający czas jedzenia pizzy Pepperoni (kolor różowy) i pizzy Cheese (kolor niebieski).

Testy A/B w R

Wykresy pudełkowe – użycie

  • Dane w formacie długim
  • Idealne dla badaczy lub statystyków oraz do oceny rozkładów nieormalnych

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Wykres pudełkowy przedstawiający czas jedzenia pizzy Pepperoni (kolor różowy) i pizzy Cheese (kolor niebieski).

Testy A/B w R

Wykresy rozrzutu

  • Zależność między zmiennymi
    • Korelacje
  • Każdy punkt
  • Trend: kierunek i tempo

Wykres rozrzutu przedstawiający czas jedzenia pizzy na osi X i przyjemność z jedzenia pizzy na osi Y.

Testy A/B w R

Wykresy rozrzutu – użycie

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

 

Wykres rozrzutu przedstawiający dodatnią korelację: czas na osi X, przyjemność na osi Y; punkty różowe dla pizzy Pepperoni, niebieskie dla pizzy Cheese.

Testy A/B w R

Wykresy rozrzutu – użycie

  • Podzbiór danych dla jednej grupy

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

Wykres rozrzutu przedstawiający dodatnią korelację: czas na osi X, przyjemność na osi Y – tylko pizza Pepperoni.

Testy A/B w R

Prezentowanie danych

Odbiorcy bez wiedzy statystycznej:

  • Wartości statystyczne nieinformatywne
  • Używać wyników z życia realnego
  • Wniosek z testu
  • Analiza mocy
  • Słupki błędów

Zdjęcie stockowe przedstawiające prezentację wyników danych dwóm osobom.

Testy A/B w R

Przykład prezentowania danych

Wyniki:

  • Istotny test t
  • Moc = 0,9

Prezentacja:

  • Stwierdzono istotną różnicę
  • Pizza Pepperoni była jedzona szybciej niż Cheese
  • Wiarygodne wyniki
  • Brak dużej zmienności (słupki błędów)

Wykres słupkowy przedstawiający średnią dla aktualnego projektu strony (kolor różowy) i nowej opcji (kolor niebieski) na osi X. Dla każdego słupka zaznaczono słupki błędów.

Testy A/B w R

Czas na ćwiczenia!

Testy A/B w R

Preparing Video For Download...