Considerații în testarea A/B

A/B Testing în R

Lauryn Burleigh

Data Scientist

Considerații pentru testarea A/B

Utilizați A/B doar dacă...

  • Subiecții/traficul sunt semnificativi
  • Există timp pentru proiectare și teste
  • Ipoteză clară

Considerații pentru testul A/B

  • Fluctuații în date
  • Numărul de variabile
  • Regresia spre medie
A/B Testing în R

Fluctuații în date

  • Pentru acuratețe, este necesară reprezentarea întregii populații
  • Fluctuațiile influențează rezultatele
    • Modificări în rândul subiecților
    • Ziua din săptămână
    • Sărbători
    • Percepția publică

Grafic liniar care arată utilizatorii care revin inițial în scădere, apoi în creștere, și utilizatorii noi în creștere.

Numărul de vânzări crește în perioada sărbătorilor de iarnă.

Numărul de vânzări crește în timpul unei promoții, dar scade în afara acesteia.

A/B Testing în R

Exemplu de fluctuații

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Histogramă cu 10 puncte de date distribuite pe tot axa x.

Histogramă cu 10 puncte de date cu bare la începutul, mijlocul și sfârșitul axei x.

Histogramă cu 10 puncte de date cu bare concentrate mai ales în mijlocul axei x.

A/B Testing în R

Numărul de variabile

  • O variabilă - ideal
  • Un topping/o variabilă
    • Evaluarea toppingului/condiției individuale
    • Brânză: variabilă de control
    • Pepperoni: variabilă de test
  • Două toppinguri/mai multe variabile
    • Evaluarea combinațiilor
    • Perechi: ardei gras & ceapă, măsline & usturoi
    • Fără control

Pizza cu brânză și pepperoni (un topping, 3 subiecți per grup) și pizza cu ardei gras cu ceapă și măsline cu usturoi (două toppinguri, 3 subiecți per grup).

A/B Testing în R

Variabile și eroarea de tip I

  • Mai multe variabile -> mai multe analize
    • Rată mai mare de eroare de tip I
  • Semnificație uzuală: 5%
    • alpha: 0.05
    • 5% șanse de eroare de tip I
  • Nivel de încredere: 100 - semnificație
    • Utilizat pentru calculul ratei de eroare familiale
      • 1 - Probabilitatea de a nu avea fals pozitive

Calculul ratei de eroare familiale

  • Semnificație: 5%
  • Nivel de încredere: 95%
  • Teste de efectuat: 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

A/B Testing în R

Regresia spre medie

  • Valorile extreme se mediază odată cu date suplimentare
  • Risc de eroare de tip I
  • Comparație cu un grup de control

Grafic liniar care arată multe trimiteri noi la început, apoi regresia spre medie în timp.

Grafic liniar care arată că butonul original nu înregistrează modificări, în timp ce varianta modificată prezintă mai multe trimiteri inițial, apoi regresează spre medie, întâlnind datele fără modificări.

A/B Testing în R

Regresia spre medie

  • Eșantioanele mici sunt inexacte
  • Risc de eroare de tip I
  • Mai multe date -> media reală
ID Satisfacție [1-10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
A/B Testing în R

Să exersăm!

A/B Testing în R

Preparing Video For Download...