Testy A/B

Data Science dla biznesu

Kaelen Medeiros

Data Scientist at Medidata Solutions

Czym jest test A/B?

Test A/B

Data Science dla biznesu

Studium przypadku: nagłówki artykułów

Testowanie nagłówków artykułów

Data Science dla biznesu

Kroki testu A/B

  • Wybór metryki do śledzenia
  • Obliczanie wielkości próby
  • Przeprowadzanie eksperymentu
  • Sprawdzanie istotności
Data Science dla biznesu

Wybór metryki do śledzenia

Kliknięcie w link

Data Science dla biznesu

Procentowa wielkość próby

Data Science dla biznesu

Wrażliwość na wielkość próby

Data Science dla biznesu

Przeprowadzanie eksperymentu

Przeprowadzanie eksperymentu

Data Science dla biznesu

Sprawdzanie istotności

Istotność statystyczna

Data Science dla biznesu

Co zrobić, gdy wyniki nie są istotne?

  • Różnica jest mniejsza niż wybrany próg
  • Dłuższe prowadzenie testu nie pomoże
  • Różnica może istnieć, jest po prostu mała
Data Science dla biznesu

Czas na ćwiczenia!

Data Science dla biznesu

Preparing Video For Download...