Teste A/B

Entendendo a ciência de dados

Lis Sulmont

Curriculum Manager, DataCamp

Fluxo de trabalho na ciência de dados

Fluxo de trabalho de ciência de dados

O que são experimentos em ciência de dados?

Experimentos ajudam a orientar decisões e tirar conclusões

Formular uma pergunta
Formular uma hipótese
Coletar dados
Testar a hipótese com um teste estatístico
Interpretar resultados

Estudo de caso: qual é o melhor título de post do blog?

Formular uma pergunta: o título A ou o título B do blog resultam em mais cliques?

Formular uma hipótese: o título A e o título B do blog resultam na mesma quantidade de cliques.

Coletar dados:

50% dos usuários verão o título do blog A
50% dos usuários verão o título do blog B
Acompanhe a taxa de cliques até que o tamanho da amostra seja atingido

Estudo de caso: qual é o melhor título de post do blog?

Testar a hipótese com um teste estatístico: a diferença nas taxas de cliques dos títulos é significativa?

Interpretar resultados:

Escolher um título
Ou fazer mais perguntas e criar outro experimento!

O que é teste A/B?

Conhecido como teste de campeão/desafiante

Revisão da terminologia

Tamanho da amostra: número de pontos de dados usados
Significância estatística: o resultado provavelmente não se deve ao acaso
- Dadas as suposições do modelo estatístico
- Use testes estatísticos para calcular isto:
  - Por exemplo, teste t, teste Z, ANOVA, teste qui-quadrado

Etapas do Teste A/B

Escolha de uma métrica para monitorar
Cálculo do tamanho da amostra
Execução do experimento
Verificação de significância

Escolha uma métrica para acompanhar: taxa de cliques

Métrica de referência para avaliar quaisquer mudanças
- Com que frequência as pessoas geralmente clicam em um link dos nossos blogs
Se a taxa for muito maior ou menor que 50%, precisaremos de uma amostra maior.
- A taxa de cliques é tipicamente pequena (<3%)

Tamanhos de amostra maiores nos permitem detectar alterações menores.

Execute seu experimento

Verifique a significância

E se os resultados não forem significativos?

A diferença é menor que o limite que escolhemos
Executar nosso teste por mais tempo não vai ajudar
Ainda pode haver uma diferença; ela é apenas pequena e insignificante para nós

Vamos praticar!

Entendendo a ciência de dados

Preparing Video For Download...