Calculando lift e teste de significância

Análise de campanhas de marketing com pandas

Jill Rosok

Data Scientist

Desempenho do tratamento vs. controle

Calculando o lift:

$$ \frac{\text{Taxa de conversão do tratamento - Taxa de conversão do controle}}{\text{Taxa de conversão do controle}} $$

Calculando o lift

# Calcular a média de a e b 
a_mean = np.mean(control)
b_mean = np.mean(personalization)

# Calcular o lift usando a_mean e b_mean
lift = (b_mean-a_mean)/a_mean

print("lift:", str(round(lift*100, 2)) + '%')

lift: 194.23%

Distribuição t

¹ Identification of Timed Behavior Models for Diagnosis in Production Systems. Scientific Figure on ResearchGate.

Valores de p

T de 1,96 costuma ser significativo a 95%
Dependendo do contexto, você pode aceitar um nível de significância menor ou maior.

Teste t no Python

from scipy.stats import ttest_ind

t = ttest_ind(control, personalized)

print(t)

TtestResult(statistic=-2.7343299447505074, 
            pvalue=0.006451487844694175, 
            df=552.0)

Vamos praticar!

Análise de campanhas de marketing com pandas