Experimentální design: nastavení testovacích parametrů

A/B testování v Pythonu

Moe Lotfy, PhD

Principal Data Science Manager

Parametry rozdělení

  • d sleduje normální rozdělení Matematické vyjádření nulové a alternativní hypotézy

  • Pokud je pozorovaný rozdíl „d" nepravděpodobný:

    • nulová hypotéza se zamítá
  • Rozdělení nulové vs. alternativní hypotézy

Grafické znázornění rozdělení nulové a alternativní hypotézy

A/B testování v Pythonu

Parametry designu a typy chyb

  • Síla testu (1- $\beta$)
    • $\beta$ = chyba II. druhu = falešně negativní
    • Obvykle nastavena na 80 %
  • Minimální detekovatelný efekt (MDE)
    • Nejmenší rozdíl, který chceme zachytit

Matice typů chyb

Grafické znázornění parametrů experimentu

A/B testování v Pythonu

Parametry designu a typy chyb

  • Hladina významnosti $\alpha$
    • $\alpha$ = chyba I. druhu = falešně pozitivní
    • Obvykle nastavena na 5 %
  • P-hodnota
    • Pravděpodobnost získání výsledku za předpokladu platnosti nulové hypotézy.
    • Pokud p-hodnota < $\alpha$
      • Nulová hypotéza se zamítá
    • Pokud p-hodnota > $\alpha$
      • Nulová hypotéza se nezamítá

Matice typů chyb

Grafické znázornění parametrů experimentu

A/B testování v Pythonu

Analogie parametrů experimentu

Analogie pro vysvětlení statistické síly a parametrů:

  1. Čas v obchodě = velikost vzorku / délka experimentu
  2. Velikost sáčku s chipsy = velikost efektu / MDE
  3. Čistota / uspořádání obchodu = rozptyl dat

Analogie statistické síly

A/B testování v Pythonu

Pojďme si procvičit!

A/B testování v Pythonu

Preparing Video For Download...