Por que rodar experimentos?

A/B Testing em Python

Moe Lotfy, PhD

Principal Data Science Manager

O valor do A/B testing

Reduzir a incerteza sobre o impacto de novos designs e recursos
Decisão --> científica, baseada em evidências — não em intuição
Grande valor pelo investimento: mudanças simples geram grandes ganhos
Otimização contínua na fase madura do negócio
Correlação não implica causalidade

Hierarquia de evidências

Versão adaptada da hierarquia de evidências

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

Mensagens de erro reduzem churn?

Exemplo de correlação espúria no Microsoft Office 365:$^1$
- Correlação espúria: uma correlação forte que parece causal, mas não é.

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Coeficiente de correlação de Pearson

Uma pontuação que mede a força da relação linear entre duas variáveis.
r>0: correlação positiva
r = 0: correlação neutra
r<0: correlação negativa

Fórmula do coeficiente de correlação de Pearson (r):

Equação do coeficiente de correlação de Pearson (r)

Supõe: distribuição normal e linearidade

Inspeção visual de correlações

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Gráficos de dispersão mostrando a relação entre três colunas do conjunto de dados

Mapa de calor da correlação de Pearson

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

Mapa de calor de todas as variáveis do conjunto de dados e seus coeficientes de correlação

Vamos praticar!

A/B Testing em Python