Design e estimativa de métricas

A/B Testing em Python

Moe Lotfy, PhD

Principal Data Science Manager

Tipos de métricas

Primária (objetivo/north-star):
- Melhor descreve o sucesso do negócio ou da missão
Métricas granulares:
- Explicam melhor o comportamento dos usuários
- Mais sensíveis e acionáveis
- Taxa de cadastro:
  - = (cliques/visitantes) X (cadastros/cliques)
Métricas de instrumentação/guardrail:
- Fora do escopo deste curso

Ilustração da métrica north star

Ilustração de métricas com gráfico de barras e linha

Tipos de métricas

Categorização quantitativa

Médias/percentis: vendas médias, mediana do tempo na página
Proporções:
- Taxa de cadastro: cadastros/visitantes totais
- Taxa de abandono da página: abandonos/visitantes totais
Razões:
- Click-through-rate (CTR): cliques/visitas à página ou cliques/impresões do anúncio
- Receita por sessão
Métricas podem ser combinadas para formar critérios mais completos de sucesso/fracasso

Requisitos de métricas

Estáveis/robustas contra diferenças pouco relevantes
Sensíveis a mudanças importantes
Mensuráveis dentro das limitações de logging
Não manipuláveis
- Cores chamativas
- Tempo na página

Call-to-action exagerado e chamativo

Estimativa de métricas em Python

checkout.groupby('gender')['purchased'].mean()

gender
F    0.908056
M    0.780009
Name: purchased, dtype: float64

checkout[(checkout['browser']=='chrome')|(checkout['browser']=='safari')]\
    .groupby('gender')['order_value'].mean()

gender
F    29.814161
M    30.383431
Name: order_value, dtype: float64

Estimativa de métricas em Python

checkout.groupby('browser')[['order_value', 'purchased']].mean()

         order_value  purchased
browser                        
chrome     30.016625   0.839088
firefox    29.887491   0.851725
safari     30.119808   0.844337

Vamos praticar!

A/B Testing em Python