Intro: best practices en geavanceerde topics voor A/B-testen

A/B-testen in Python

Moe Lotfy, PhD

Principal Data Science Manager

Best practices

Niet spieken

  • Neem geen beslissingen door vóór de geplande steekproefgrootte naar resultaten te kijken; dit verhoogt fouten, vergelijkbaar met multiple comparisons.

Houd rekening met dag-van-de-week-effecten

  • Gebruikers gedragen zich in het weekend anders dan doordeweeks; neem dit gedrag mee.
A/B-testen in Python

Best practices

  • Eenvoud/haalbaarheid:
    • Moeten we de volledige feature bouwen?
    • Painted-door-tests
  • Isolatie
    • Verander één variabele tegelijk om impact toe te schrijven.
A/B-testen in Python

Geavanceerde topics

  • Multifactorieel ontwerp en interactie-effecten
    • Meet het geïsoleerde effect van elke variabele
    • Ontdekt interactie-/synergetische effecten
  • Bayesiaans A/B-testen
    • Neemt eerdere data mee in het huidige experiment
    • Ziet populatieparameters als verdelingen
    • Meer intuïtief begrip van testresultaten
  • SUTVA-schending en netwerkeffecten
    • Toewijzing van één gebruiker beïnvloedt anderen
    • Veelvoorkomend in A/B-tests op sociale netwerken
    • Oplossing: clustertoewijzing
A/B-testen in Python

Laten we oefenen!

A/B-testen in Python

Preparing Video For Download...