Boas práticas e tópicos avançados de A/B Testing

A/B Testing em Python

Moe Lotfy, PhD

Principal Data Science Manager

Boas práticas

Evite espiar

  • Não tome decisões espiando resultados antes de atingir o tamanho de amostra planejado; isso infla as taxas de erro, como em múltiplas comparações.

Considere efeitos por dia da semana

  • Usuários podem se comportar diferente em fins de semana vs. dias úteis, então inclua o comportamento geral.
A/B Testing em Python

Boas práticas

  • Simplicidade/viabilidade:
    • Precisamos construir a funcionalidade completa?
    • Testes "painted door"
  • Isolamento
    • Altere uma variável por vez para atribuir impacto.
A/B Testing em Python

Tópicos avançados

  • Design multifatorial e efeitos de interação
    • Mede o efeito isolado de cada variável
    • Revela efeitos de interação/sinergia
  • A/B testing Bayesiano
    • Incorpora dados prévios ao experimento atual
    • Trata parâmetros populacionais como distribuições
    • Entendimento mais intuitivo dos resultados
  • Violação de SUTVA e efeitos de rede
    • A atribuição de um usuário no teste impacta outros
    • Comum em testes A/B de redes sociais
    • Uma solução: atribuição por clusters
A/B Testing em Python

Vamos praticar!

A/B Testing em Python

Preparing Video For Download...