Introducere în bunele practici și subiecte avansate de testare A/B

A/B Testing în Python

Moe Lotfy, PhD

Principal Data Science Manager

Bune practici

Evitați consultarea prematură a rezultatelor

  • Evitați luarea deciziilor înainte de atingerea dimensiunii de eșantion planificate, deoarece acest lucru crește ratele de eroare, similar comparațiilor multiple.

Țineți cont de efectele zilei din săptămână

  • Utilizatorii se pot comporta diferit în weekend față de zilele lucrătoare, prin urmare trebuie inclus comportamentul general.
A/B Testing în Python

Bune practici

  • Simplitate/fezabilitate:
    • Este necesară implementarea întregii funcționalități?
    • Teste de tip „ușă vopsită"
  • Izolare
    • Modificați o singură variabilă pentru a atribui impactul corect.
A/B Testing în Python

Subiecte avansate

  • Design multifactorial și efecte de interacțiune
    • Măsoară efectul izolat al fiecărei variabile
    • Descoperă efecte de interacțiune/sinergie
  • Testare A/B Bayesiană
    • Integrează date anterioare în experimentul curent
    • Tratează parametrii populației ca distribuții
    • Înțelegere mai intuitivă a rezultatelor testului
  • Violarea SUTVA și efecte de rețea
    • Apartenența unui utilizator la un grup influențează alți utilizatori
    • Frecvent în testele A/B din rețelele sociale
    • O soluție: atribuirea pe clustere
A/B Testing în Python

Să exersăm!

A/B Testing în Python

Preparing Video For Download...