Вычисление lift и проверка значимости

Анализ маркетинговых кампаний с помощью pandas

Jill Rosok

Data Scientist

Результаты тестовой группы относительно контрольной

Вычисление lift:

$$ \frac{\text{Treatment conversion rate - Control conversion rate}}{\text{Control conversion rate}} $$

Вычисление lift

# Calcuate the mean of a and b 
a_mean = np.mean(control)
b_mean = np.mean(personalization)

# Calculate the lift using a_mean and b_mean
lift = (b_mean-a_mean)/a_mean

print("lift:", str(round(lift*100, 2)) + '%')

lift: 194.23%

T-распределение

¹ Идентификация моделей поведения с временны́ми ограничениями для диагностики в производственных системах. Научный рисунок на ResearchGate.

P-значения

T-статистика 1,96 обычно считается статистически значимой на уровне 95%
В зависимости от контекста теста допустимый уровень статистической значимости может быть выше или ниже.

T-тест в Python

from scipy.stats import ttest_ind

t = ttest_ind(control, personalized)

print(t)

TtestResult(statistic=-2.7343299447505074, 
            pvalue=0.006451487844694175, 
            df=552.0)

Давайте потренируемся!

Анализ маркетинговых кампаний с помощью pandas