Úvod do osvědčených postupů a pokročilých témat A/B testování

A/B testování v Pythonu

Moe Lotfy, PhD

Principal Data Science Manager

Osvědčené postupy

Vyhněte se průběžnému sledování

  • Nerozhodujte se na základě výsledků před dosažením plánované velikosti vzorku – zvyšuje to míru chyb podobně jako při mnohonásobném porovnávání.

Zohledněte efekty dnů v týdnu

  • Uživatelé se mohou chovat jinak o víkendu než ve všední dny, proto je třeba zahrnout celkové chování.
A/B testování v Pythonu

Osvědčené postupy

  • Jednoduchost/proveditelnost:
    • Je nutné vytvořit celou funkci?
    • Testy „painted door"
  • Izolace
    • Měňte vždy jen jednu proměnnou, abyste přiřadili dopad.
A/B testování v Pythonu

Pokročilá témata

  • Multifaktoriální design a interakční efekty
    • Měří izolovaný efekt každé proměnné
    • Odhaluje interakční/synergické efekty
  • Bayesovské A/B testování
    • Zahrnuje předchozí data do aktuálního experimentu
    • Pohlíží na parametry populace jako na rozdělení
    • Intuitivnější pochopení výsledků testů
  • Porušení SUTVA a síťové efekty
    • Zařazení jednoho uživatele do testu ovlivňuje ostatní
    • Časté v A/B testech sociálních sítí
    • Jedno řešení: přiřazení do clusterů
A/B testování v Pythonu

Pojďme procvičovat!

A/B testování v Pythonu

Preparing Video For Download...