Design experimental: configurarea parametrilor de testare

A/B Testing în Python

Moe Lotfy, PhD

Principal Data Science Manager

Parametrii distribuției

  • d urmează o distribuție normală Formularea matematică a ipotezelor nule și alternative

  • Dacă diferența observată 'd' este puțin probabilă:

    • se respinge ipoteza nulă
  • Distribuțiile ipotezei nule vs. alternative

Reprezentare grafică a distribuțiilor ipotezelor nulă și alternativă

A/B Testing în Python

Parametrii de design și tipurile de erori

  • Puterea (1- $\beta$)
    • $\beta$ = eroare de tip II = Fals negativ
    • De obicei stabilită la 80%
  • Efectul Minim Detectabil (MDE)
    • Cea mai mică diferență pe care dorim să o detectăm

Matricea tipurilor de erori

Reprezentare grafică a parametrilor experimentului

A/B Testing în Python

Parametrii de design și tipurile de erori

  • Nivelul de semnificație $\alpha$
    • $\alpha$ = eroare de tip I = Fals pozitiv
    • De obicei stabilit la 5%
  • Valoarea p
    • Probabilitatea de a obține un rezultat presupunând că ipoteza nulă este adevărată.
    • Dacă valoarea p < $\alpha$
      • Se respinge ipoteza nulă
    • Dacă valoarea p > $\alpha$
      • Nu se respinge ipoteza nulă

Matricea tipurilor de erori

Reprezentare grafică a parametrilor experimentului

A/B Testing în Python

Analogie pentru parametrii experimentului

Analogie pentru puterea statistică și parametri:

  1. Timp în magazin = dimensiunea eșantionului/durata experimentului
  2. Mărimea pungii de chipsuri = dimensiunea efectului/MDE
  3. Curățenia/organizarea magazinului = varianța datelor

Analogie pentru puterea statistică

A/B Testing în Python

Să exersăm!

A/B Testing în Python

Preparing Video For Download...