Experimenteel ontwerp: testparameters instellen

A/B-testen in Python

Moe Lotfy, PhD

Principal Data Science Manager

Verdelingsparameters

  • d volgt een normale verdeling Wiskundige formulering van de nul- en alternatieve hypothesen

  • Als het geobserveerde verschil ‘d’ onwaarschijnlijk is:

    • verwerp de nulhypothese
  • Nul- vs alternatieve-hypotheseverdelingen

Grafische weergave van de verdelingen van de nul- en alternatieve hypothesen

A/B-testen in Python

Ontwerpparameters en fouttypen

  • Power (1- $\beta$)
    • $\beta$ = type II-fout = vals negatief
    • Meestal ingesteld op 80%
  • Minimum Detecteerbaar Effect (MDE)
    • Kleinste verschil dat we willen vinden

Matrix van fouttypen

Grafische weergave van experimentele parameters

A/B-testen in Python

Ontwerpparameters en fouttypen

  • Significantieniveau $\alpha$
    • $\alpha$ = type I-fout = vals positief
    • Meestal ingesteld op 5%
  • P-waarde
    • Kans op een resultaat als de nulhypothese waar is.
    • Als p-waarde < $\alpha$
      • Verwerp nulhypothese
    • Als p-waarde > $\alpha$
      • Verwerp nulhypothese niet

Matrix van fouttypen

Grafische weergave van experimentele parameters

A/B-testen in Python

Analogie voor experimentele parameters

Analogie voor statistische power en parameters:

  1. Tijd in de winkel = steekproefgrootte/duur van het experiment

  2. Zakgrootte chips = effectgrootte/MDE

  3. Netheid/organisatie winkel = datavarianties
A/B-testen in Python

Laten we oefenen!

A/B-testen in Python

Preparing Video For Download...