Testy A/B – najlepsze praktyki i tematy zaawansowane

Testy A/B w Pythonie

Moe Lotfy, PhD

Principal Data Science Manager

Najlepsze praktyki

Unikanie podglądania wyników

  • Nie należy podejmować decyzji na podstawie wyników przed osiągnięciem zaplanowanej wielkości próby – zwiększa to wskaźniki błędów, podobnie jak wielokrotne porównania.

Uwzględnianie efektów dnia tygodnia

  • Użytkownicy mogą zachowywać się inaczej w weekendy niż w dni robocze, dlatego należy uwzględnić ogólne wzorce zachowań.
Testy A/B w Pythonie

Najlepsze praktyki

  • Prostota/wykonalność:
    • Czy trzeba budować pełną funkcję?
    • Testy „malowane drzwi"
  • Izolacja
    • Należy zmieniać jedną zmienną na raz, aby przypisać wpływ.
Testy A/B w Pythonie

Tematy zaawansowane

  • Projekt wieloczynnikowy i efekty interakcji
    • Mierzy odizolowany efekt każdej zmiennej
    • Ujawnia efekty interakcji i synergii
  • Bayesowskie testowanie A/B
    • Uwzględnia wcześniejsze dane w bieżącym eksperymencie
    • Traktuje parametry populacji jako rozkłady
    • Bardziej intuicyjna interpretacja wyników
  • Naruszenie SUTVA i efekty sieciowe
    • Przypisanie jednego użytkownika wpływa na innych
    • Częste w testach A/B sieci społecznościowych
    • Jedno rozwiązanie: przypisanie klastrowe
Testy A/B w Pythonie

Czas na ćwiczenia!

Testy A/B w Pythonie

Preparing Video For Download...