Testy A/B

Zrozumieć data science

Lis Sulmont

Curriculum Manager, DataCamp

Proces data science

Proces data science

Zrozumieć data science

Czym są eksperymenty w data science?

Eksperymenty pomagają podejmować decyzje i wyciągać wnioski

  1. Sformułowanie pytania
  2. Sformułowanie hipotezy
  3. Zbieranie danych
  4. Testowanie hipotezy testem statystycznym
  5. Interpretacja wyników
Zrozumieć data science

Studium przypadku: który tytuł wpisu jest lepszy?

Pytanie: Który tytuł bloga – A czy B – generuje więcej kliknięć?

Hipoteza: Tytuły A i B generują taką samą liczbę kliknięć.

Zbieranie danych:

  • 50% użytkowników zobaczy tytuł A
  • 50% użytkowników zobaczy tytuł B
  • Śledzenie współczynnika klikalności do osiągnięcia wielkości próby

tytuły bloga w teście a/b

Zrozumieć data science

Studium przypadku: który tytuł wpisu jest lepszy?

Test hipotezy: Czy różnica we współczynnikach klikalności tytułów jest istotna?

Interpretacja wyników:

  • Wybór tytułu
  • Lub sformułowanie nowych pytań i zaprojektowanie kolejnego eksperymentu!

tytuły bloga w teście a/b

Zrozumieć data science

Czym jest test A/B?

Inaczej: testowanie Champion/Challenger

test a/b

Zrozumieć data science

Przegląd terminologii

  • Wielkość próby: liczba użytych punktów danych
  • Istotność statystyczna: wynik prawdopodobnie nie jest przypadkowy
    • Przy założeniach modelu statystycznego
    • Do obliczenia służą testy statystyczne:
      • np. test t, test Z, ANOVA, test chi-kwadrat
Zrozumieć data science

Kroki testu A/B

  • Wybór metryki do śledzenia
  • Obliczenie wielkości próby
  • Przeprowadzenie eksperymentu
  • Sprawdzenie istotności
Zrozumieć data science

Wybór metryki: współczynnik klikalności

kliknięcie w link

Zrozumieć data science

rozkład wielkości próby

  • Bazowa metryka do oceny zmian
    • Jak często użytkownicy klikają w link do bloga
  • Jeśli wskaźnik znacznie odbiega od 50%, potrzebna jest duża próba
    • Współczynnik klikalności jest zwykle niski (<3%)
Zrozumieć data science

czułość wielkości próby

Większa próba umożliwia wykrycie mniejszych zmian

Zrozumieć data science

Przeprowadzanie eksperymentu

przeprowadzanie eksperymentu

Zrozumieć data science

Sprawdzanie istotności

istotność statystyczna

Zrozumieć data science

Co zrobić, gdy wyniki nie są istotne?

  • Różnica jest mniejsza niż wybrany próg
  • Dłuższe testowanie nie poprawi wyników
  • Różnica może istnieć, ale jest zbyt mała, by miała znaczenie
Zrozumieć data science

Czas na ćwiczenia!

Zrozumieć data science

Preparing Video For Download...