Aspekty A/B testování

A/B testování v R

Lauryn Burleigh

Data Scientist

Aspekty A/B testování

A/B test použijte pouze pokud...

  • Subjekty/provoz jsou relevantní
  • Je dostatek času na návrh a testování
  • Hypotéza je jasná

Aspekty A/B testování

  • Výkyvy dat
  • Počet proměnných
  • Regrese k průměru
A/B testování v R

Výkyvy v datech

  • Pro přesnost je nutná reprezentace celé populace
  • Výkyvy ovlivňují výsledky
    • Změna subjektů
    • Den v týdnu
    • Svátky
    • Veřejné mínění

Spojnicový graf: vracející se uživatelé nejprve klesají, poté se vrací; noví uživatelé přibývají.

Počet prodejů roste během zimních svátků.

Počet prodejů roste během výprodeje a klesá mimo něj.

A/B testování v R

Příklad výkyvů

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Histogram 10 datových bodů rozložených po celé ose x.

Histogram 10 datových bodů se sloupci na začátku, uprostřed a na konci osy x.

Histogram 10 datových bodů se sloupci převážně uprostřed osy x.

A/B testování v R

Počet proměnných

  • Jedna proměnná – ideální
  • Jeden topping/jedna proměnná
    • Hodnocení jednotlivého toppingu/podmínky
    • Sýr: kontrolní proměnná
    • Pepperoni: testovaná proměnná
  • Dva toppingy/více proměnných
    • Hodnocení kombinací
    • Páry: paprika & cibule, olivy & česnek
    • Bez kontroly

Pizzy se sýrem a pepperoni (jeden topping, 3 subjekty na skupinu) a pizzy s paprikou a cibulí a s olivami a česnekem (dva toppingy, 3 subjekty na skupinu).

A/B testování v R

Proměnné a chyba I. druhu

  • Více proměnných -> více analýz
    • Vyšší míra chyby I. druhu
  • Běžná hladina významnosti: 5 %
    • alfa: 0,05
    • 5% pravděpodobnost chyby I. druhu
  • Hladina spolehlivosti: 100 – významnost
    • Slouží k výpočtu celkové míry chyby
      • 1 – pravděpodobnost žádných falešně pozitivních výsledků

Výpočet celkové míry chyby

  • Hladina významnosti: 5 %
  • Hladina spolehlivosti: 95 %
  • Počet testů: 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40 %

A/B testování v R

Regrese k průměru

  • Extrémní hodnoty se průměrují s přibývajícími daty
  • Riziko chyby I. druhu
  • Porovnání s kontrolní skupinou

Spojnicový graf: zpočátku mnoho nových odeslání, postupná regrese k průměru.

Spojnicový graf: původní tlačítko bez změny vs. nová odeslání po změně regredující k průměru.

A/B testování v R

Regrese k průměru

  • Malé vzorky jsou nepřesné
  • Riziko chyby I. druhu
  • Více dat -> skutečný průměr
ID Spokojenost [1–10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
A/B testování v R

Lass uns üben!

A/B testování v R

Preparing Video For Download...