A/B testování

Understanding Data Science

Lis Sulmont

Curriculum Manager, DataCamp

Pracovní postup v datové vědě

Pracovní postup v datové vědě

Understanding Data Science

Co jsou experimenty v datové vědě?

Experimenty pomáhají rozhodovat a vyvozovat závěry

  1. Formulace otázky
  2. Formulace hypotézy
  3. Sběr dat
  4. Ověření hypotézy statistickým testem
  5. Interpretace výsledků
Understanding Data Science

Případová studie: který nadpis blogu je lepší?

Formulace otázky: Vede nadpis blogu A nebo B k více kliknutím?

Formulace hypotézy: Nadpisy A a B vedou ke stejnému počtu kliknutí.

Sběr dat:

  • 50 % uživatelů uvidí nadpis A
  • 50 % uživatelů uvidí nadpis B
  • Sledování míry prokliků do dosažení velikosti vzorku

a/b test nadpisů

Understanding Data Science

Případová studie: který nadpis blogu je lepší?

Ověření hypotézy statistickým testem: Je rozdíl v míře prokliků nadpisů významný?

Interpretace výsledků:

  • Výběr nadpisu
  • Nebo formulace dalších otázek a návrh nového experimentu!

a/b test nadpisů

Understanding Data Science

Co je A/B testování?

Také známé jako testování šampiona a vyzyvatele

a-b-test.png

Understanding Data Science

Přehled terminologie

  • Velikost vzorku: počet použitých datových bodů
  • Statistická významnost: výsledek pravděpodobně není způsoben náhodou
    • Za předpokladů statistického modelu
    • K výpočtu slouží statistické testy:
      • např. t-test, Z-test, ANOVA, chi-kvadrát test
Understanding Data Science

Kroky A/B testování

  • Výběr sledované metriky
  • Výpočet velikosti vzorku
  • Provedení experimentu
  • Ověření významnosti
Understanding Data Science

Volba metriky: míra prokliku

kliknutí na odkaz

Understanding Data Science

velikost vzorku v procentech

  • Základní metrika pro měření změn
    • Jak často lidé obvykle klikají na odkaz na náš blog
  • Je-li míra výrazně vyšší nebo nižší než 50 %, potřebujeme velký vzorek
    • Míra prokliků bývá nízká (<3 %)
Understanding Data Science

citlivost velikosti vzorku

Větší vzorky umožňují odhalit menší změny

Understanding Data Science

Provedení experimentu

provedení experimentu

Understanding Data Science

Ověření významnosti

statistická významnost

Understanding Data Science

Co když výsledky nejsou významné?

  • Rozdíl je menší než zvolený práh
  • Delší provádění testu nepomůže
  • Rozdíl může existovat, je však malý a pro nás nevýznamný
Understanding Data Science

Pojďme si procvičit!

Understanding Data Science

Preparing Video For Download...