Найкращі практики A/B‑тестування та вступ до просунутих тем

A/B Testing на Python

Moe Lotfy, PhD

Principal Data Science Manager

Найкращі практики

Не підглядайте

  • Утримуйтесь від рішень до досягнення запланованого розміру вибірки — «підглядання» завищує похибки, як і множинні порівняння.

Враховуйте ефекти дня тижня

  • Користувачі інакше поводяться у вихідні та будні, тож слід враховувати загальну поведінку.
A/B Testing на Python

Найкращі практики

  • Простота/реалізовність:
    • Чи потрібно будувати всю функцію?
    • «Painted door»‑тести
  • Ізоляція
    • Змінюйте по одній змінній, щоб приписати вплив.
A/B Testing на Python

Просунуті теми

  • Багатофакторний дизайн та ефекти взаємодії
    • Вимірює ізольований вплив кожної змінної
    • Виявляє взаємодії/синергії
  • Баєсівське A/B‑тестування
    • Враховує попередні дані в поточному експерименті
    • Розглядає параметри сукупності як розподіли
    • Дає інтуїтивніше тлумачення результатів
  • Порушення SUTVA та мережеві ефекти
    • Призначення одного користувача впливає на інших
    • Типово для A/B‑тестів у соцмережах
    • Один з підходів: кластерне призначення
A/B Testing на Python

Давайте потренуємось!

A/B Testing на Python

Preparing Video For Download...