리프트 계산 및 유의성 검정

pandas로 마케팅 캠페인 분석하기

Jill Rosok

Data Scientist

대조군 대비 실험군 성과

리프트 계산:

$$ \frac{\text{Treatment conversion rate - Control conversion rate}}{\text{Control conversion rate}} $$

리프트 계산

# Calcuate the mean of a and b 
a_mean = np.mean(control)
b_mean = np.mean(personalization)

# Calculate the lift using a_mean and b_mean
lift = (b_mean-a_mean)/a_mean

print("lift:", str(round(lift*100, 2)) + '%')

lift: 194.23%

T-분포

¹ Identification of Timed Behavior Models for Diagnosis in Production Systems. Scientific Figure on ResearchGate.

P-값

T-통계량 1.96은 일반적으로 95% 수준에서 통계적으로 유의합니다.
검정의 맥락에 따라 더 낮거나 높은 유의 수준을 사용할 수 있습니다.

Python에서의 T-검정

from scipy.stats import ttest_ind

t = ttest_ind(control, personalized)

print(t)

TtestResult(statistic=-2.7343299447505074, 
            pvalue=0.006451487844694175, 
            df=552.0)

연습해 봅시다!

pandas로 마케팅 캠페인 분석하기