Överväganden vid A/B-testning

A/B-testning i R

Lauryn Burleigh

Data Scientist

Överväganden vid A/B-testning

Använd A/B bara om...

  • Tillräckligt med testpersoner/trafik
  • Tid finns för design och tester
  • Tydlig hypotes

Överväganden vid A/B-testning

  • Datafluktuationer
  • Antal variabler
  • Regression mot medelvärdet
A/B-testning i R

Fluktuationer i data

  • För noggrannhet krävs ett representativt urval av hela populationen
  • Fluktuationer påverkar resultaten
    • Förändring i testgruppen
    • Veckodag
    • Helgdagar
    • Allmänhetens uppmärksamhet

Linjediagram som visar att återvändande användare först minskar och sedan återhämtar sig, medan nya användare ökar.

Antalet försäljningar ökar under vinterhelgerna.

Antalet försäljningar ökar under en rea men minskar utanför rean.

A/B-testning i R

Exempel på fluktuationer

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

Ett histogram med 10 datapunkter spridda över hela x-axeln.

Ett histogram med 10 datapunkter med staplar i början, mitten och slutet av x-axeln.

Ett histogram med 10 datapunkter där staplarna främst befinner sig i mitten av x-axeln.

A/B-testning i R

Antal variabler

  • En variabel – idealiskt
  • En topping/en variabel
    • Utvärderar enskild topping/villkor
    • Ost: kontrollvariabel
    • Pepperoni: testvariabel
  • Två toppings/flera variabler
    • Utvärderar kombinationer
    • Par: paprika & lök, oliver & vitlök
    • Ingen kontroll

Pizzor med ost och pepperoni som en topping med 3 testpersoner i varje grupp, samt pizzor med paprika & lök och oliver & vitlök som två toppings med 3 testpersoner i varje grupp.

A/B-testning i R

Variabler och typ I-fel

  • Fler variabler → fler analyser
    • Högre typ I-felfrekvens
  • Vanlig signifikansnivå: 5 %
    • alfa: 0,05
    • 5 % risk för typ I-fel
  • Konfidensnivå: 100 – signifikansnivå
    • Används för att beräkna familjefelsfrekvensen
      • 1 – sannolikheten för inga falska positiva

Beräkna familjefelsfrekvensen

  • Signifikansnivå: 5 %
  • Konfidensnivå: 95 %
  • Antal tester: 10
1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40 %

A/B-testning i R

Regression mot medelvärdet

  • Extremvärden jämnas ut med mer data
  • Risk för typ I-fel
  • Jämför med en kontrollgrupp

Linjediagram som visar många nya inskickningar i början som sedan regresserar mot medelvärdet över tid.

Linjediagram som visar oförändrade inskickningar för den ursprungliga knappen jämfört med många nya inskickningar efter förändringen, där gruppen med förändringen regresserar mot medelvärdet och möter den oförändrade datan.

A/B-testning i R

Regression mot medelvärdet

  • Små urval ger opålitliga resultat
  • Risk för typ I-fel
  • Mer data → verkligt medelvärde
ID Nöjdhet [1–10]
01 1
02 10
03 9 
mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666
A/B-testning i R

Nu kör vi en övning!

A/B-testning i R

Preparing Video For Download...