Teste A/B

Introdução à ciência de dados

Lis Sulmont

Curriculum Manager, DataCamp

Fluxo de trabalho na ciência de dados

![Fluxo de trabalho na ciência de dados![

O que são experimentos em ciência de dados?

Os experimentos ajudam a orientar as decisões e a tirar conclusões

Formar uma pergunta
Formular uma hipótese
Coletar dados **
Teste a hipótese com um teste estatístico
Interpretar resultados

Estudos de caso: qual é o melhor título para uma postagem de blog?

Faça uma pergunta: O título do blog A ou o título do blog B resulta em mais cliques?

Formule uma hipótese: O título A do blog e o título B do blog resultam na mesma quantidade de cliques.

Coletar dados **

50% dos usuários verão o título A do blog
50% dos usuários verão o título B do blog
Programar a taxa de cliques até que você atinja o tamanho da amostra

Estudos de caso: qual é o melhor título para uma postagem de blog?

Teste a hipótese com um teste estatístico: A diferença nas taxas de cliques dos títulos é significativa?

Interprete os resultados:

Escolha um título
Ou faça mais perguntas e crie outro experimento!

O que é teste A/B?

Também conhecido como teste de campeão/desafiante

Revisão da terminologia

Tamanho da amostra: número de pontos de dados usados
Significância estatística: é provável que o resultado não seja devido ao acaso
- Considerando as suposições do modelo estatístico
- Use testes estatísticos para calcular isso:
  - Por exemplo, teste t, teste Z, ANOVA, teste qui-quadrado

Etapas do teste A/B

Escolha de uma métrica para monitorar
Cálculo do tamanho da amostra
Execução do experimento
Verificação de significância

Escolha uma métrica para você acompanhar: taxa de cliques

Métrica de linha de base para avaliar quaisquer mudanças
- Com que frequência as pessoas geralmente clicam em um link para nossos blogs
Se a taxa for muito maior ou menor que 50%, precisaremos de um tamanho de amostra grande
- A taxa de cliques é normalmente pequena (<3%)

Tamanhos de amostra maiores nos permitem detectar alterações menores.

Execute seu experimento

Verificar a significância

E se os resultados não forem significativos?

A diferença é menor do que o limite que escolhemos
Executar nosso teste por mais tempo não ajudará
Ainda pode haver uma diferença, mas ela é pequena e insignificante para nós

Vamos praticar!

Introdução à ciência de dados

Preparing Video For Download...