Aspekty testów A/B

Testy A/B w R

Lauryn Burleigh

Data Scientist

Aspekty testów A/B

A/B używaj tylko gdy...

  • Liczba podmiotów/ruch są znaczące
  • Dostępny czas na projekt i testy
  • Jasna hipoteza

Aspekty testu A/B

  • Wahania danych
  • Liczba zmiennych
  • Regresja do średniej
Testy A/B w R

Wahania danych

  • Potrzebna reprezentacja całej populacji
  • Wahania wpływają na wyniki
    • Zmiana podmiotów
    • Dzień tygodnia
    • Święta
    • Opinia publiczna

Wykres liniowy pokazujący powracających użytkowników początkowo malejących, następnie rosnących, oraz nowych użytkowników rosnących.

Liczba sprzedaży wzrasta w okresie świąt zimowych.

Liczba sprzedaży rośnie podczas promocji, a spada poza jej trwaniem.

Testy A/B w R

Przykład wahań

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Histogram 10 punktów danych rozłożonych na całej osi X.

Histogram 10 punktów danych ze słupkami na początku, w środku i na końcu osi X.

Histogram 10 punktów danych ze słupkami skupionymi głównie w środku osi X.

Testy A/B w R

Liczba zmiennych

  • Jedna zmienna – idealna
  • Jeden dodatek/jedna zmienna
    • Ocena pojedynczego dodatku/warunku
    • Ser: zmienna kontrolna
    • Pepperoni: zmienna testowa
  • Dwa dodatki/wiele zmiennych
    • Ocena kombinacji
    • Pary: papryka i cebula, oliwki i czosnek
    • Brak grupy kontrolnej

Pizze z serem i pepperoni (jeden dodatek, 3 osoby w każdej grupie) oraz pizze z papryką i cebulą oraz oliwkami i czosnkiem (dwa dodatki, 3 osoby w każdej grupie).

Testy A/B w R

Zmienne a błąd I rodzaju

  • Więcej zmiennych -> więcej analiz
    • Wyższy wskaźnik błędu I rodzaju
  • Typowy poziom istotności: 5%
    • alfa: 0,05
    • 5% szans na błąd I rodzaju
  • Poziom ufności: 100 – istotność
    • Używany do obliczania rodzinnego wskaźnika błędów
      • 1 – prawdopodobieństwo braku wyników fałszywie dodatnich

Obliczanie rodzinnego wskaźnika błędów

  • Istotność: 5%
  • Poziom ufności: 95%
  • Liczba testów: 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

Testy A/B w R

Regresja do średniej

  • Wartości ekstremalne uśredniają się przy większej ilości danych
  • Ryzyko błędu I rodzaju
  • Porównanie z grupą kontrolną

Wykres liniowy pokazujący dużą liczbę nowych zgłoszeń na początku, a następnie regresję do średniej wraz z upływem czasu.

Wykres liniowy pokazujący brak zmian w zgłoszeniach dla oryginalnego przycisku oraz dużą liczbę nowych zgłoszeń po zmianie, która następnie regresuje do średniej.

Testy A/B w R

Regresja do średniej

  • Małe próby są niedokładne
  • Ryzyko błędu I rodzaju
  • Więcej danych -> prawdziwa średnia
ID Zadowolenie [1-10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
Testy A/B w R

Czas na ćwiczenia!

Testy A/B w R

Preparing Video For Download...