Obliczanie liftu i testowanie istotności

Analiza kampanii marketingowych z pandas

Jill Rosok

Data Scientist

Wyniki wariantu względem grupy kontrolnej

Obliczanie liftu:

$$ \frac{\text{Współczynnik konwersji wariantu - Współczynnik konwersji grupy kontrolnej}}{\text{Współczynnik konwersji grupy kontrolnej}} $$

Obliczanie liftu

# Calcuate the mean of a and b 
a_mean = np.mean(control)
b_mean = np.mean(personalization)

# Calculate the lift using a_mean and b_mean
lift = (b_mean-a_mean)/a_mean

print("lift:", str(round(lift*100, 2)) + '%')

lift: 194.23%

Rozkład t

¹ Identification of Timed Behavior Models for Diagnosis in Production Systems. Scientific Figure on ResearchGate.

Wartości p

Statystyka t równa 1,96 jest zazwyczaj istotna statystycznie na poziomie 95%
W zależności od kontekstu testu można przyjąć niższy lub wyższy poziom istotności statystycznej.

Test t w Pythonie

from scipy.stats import ttest_ind

t = ttest_ind(control, personalized)

print(t)

TtestResult(statistic=-2.7343299447505074, 
            pvalue=0.006451487844694175, 
            df=552.0)

Czas na ćwiczenia!

Analiza kampanii marketingowych z pandas