A/B-testning

Förstå datavetenskap

Lis Sulmont

Curriculum Manager, DataCamp

Arbetsflöde inom datavetenskap

Arbetsflöde inom datavetenskap

Vad är experiment inom datavetenskap?

Experiment hjälper till att fatta beslut och dra slutsatser

Formulera en fråga
Formulera en hypotes
Samla in data
Testa hypotesen med ett statistiskt test
Tolka resultaten

Fallstudie: vilken bloggtitel är bättre?

Formulera en fråga: Ger bloggtitel A eller bloggtitel B fler klick?

Formulera en hypotes: Bloggtitel A och bloggtitel B ger lika många klick.

Samla in data:

50 % av användarna ser bloggtitel A
50 % av användarna ser bloggtitel B
Mät klickfrekvensen tills önskat urval uppnåtts

Fallstudie: vilken bloggtitel är bättre?

Testa hypotesen med ett statistiskt test: Är skillnaden i klickfrekvens mellan titlarna signifikant?

Tolka resultaten:

Välj en titel
Eller ställ fler frågor och utforma ett nytt experiment!

Vad är A/B-testning?

Även kallat Champion/Challenger-testning

Repetition av begrepp

Urvalsstorlek: antal datapunkter som används
Statistisk signifikans: resultatet beror troligen inte på slumpen
- Givet den statistiska modellens antaganden
- Använd statistiska tester för att beräkna detta:
  - t.ex. t-test, Z-test, ANOVA, Chi-kvadrattest

Steg i A/B-testning

Välj ett mått att följa
Beräkna urvalsstorleken
Genomför experimentet
Kontrollera signifikansen

Välj ett mått att följa: klickfrekvens

Baslinjemått för att mäta eventuella förändringar
- Hur ofta användare generellt klickar på en länk till våra bloggar
Om andelen är mycket högre eller lägre än 50 % krävs ett stort urval
- Klickfrekvensen är vanligtvis låg (<3 %)

Större urval gör det möjligt att upptäcka mindre förändringar

Genomför experimentet

Kontrollera signifikansen

Vad händer om resultaten inte är signifikanta?

Skillnaden är mindre än det tröskelvärde vi valt
Att köra testet längre hjälper inte
Det kan fortfarande finnas en skillnad – den är bara liten och inte relevant

Nu kör vi en övning!

Förstå datavetenskap

Preparing Video For Download...