Desenho experimental: definindo parâmetros de teste

A/B Testing em Python

Moe Lotfy, PhD

Principal Data Science Manager

Parâmetros de distribuição

  • d segue uma distribuição normal Formulação matemática das hipóteses nula e alternativa

  • Se a diferença observada "d" for improvável:

    • rejeitar a hipótese nula
  • Distribuições: hipótese nula vs. alternativa

Representação gráfica das distribuições das hipóteses nula e alternativa

A/B Testing em Python

Parâmetros de desenho e tipos de erro

  • Potência (1- $\beta$)
    • $\beta$ = erro tipo II = falso negativo
    • Geralmente definida em 80%
  • Efeito Mínimo Detectável (MDE)
    • Menor diferença que vale capturar

Matriz de tipos de erro

Representação gráfica de parâmetros experimentais

A/B Testing em Python

Parâmetros de desenho e tipos de erro

  • Nível de significância $\alpha$
    • $\alpha$ = erro tipo I = falso positivo
    • Geralmente definido em 5%
  • Valor-p
    • Probabilidade de obter um resultado assumindo que a hipótese nula é verdadeira.
    • Se valor-p < $\alpha$
      • Rejeitar a hipótese nula
    • Se valor-p > $\alpha$
      • Não rejeitar a hipótese nula

Matriz de tipos de erro

Representação gráfica de parâmetros experimentais

A/B Testing em Python

Analogia de parâmetros do experimento

Analogia para explicar potência estatística e parâmetros:

  1. Tempo na loja = tamanho da amostra/duração do experimento
  2. Tamanho do pacote de chips = tamanho do efeito/MDE
  3. Limpeza/organização da loja = variância dos dados

Analogia de potência estatística

A/B Testing em Python

Vamos praticar!

A/B Testing em Python

Preparing Video For Download...