마케팅을 위한 A/B 테스트

pandas로 마케팅 캠페인 분석하기

Jill Rosok

Data Scientist

A/B 테스트란?

테스트 실행 전 확인:

원하는 결과와 가설은 무엇인가?
어떤 지표를 개선할 것인가(예: 페이지뷰, 전환)?
유의미한 결론을 제때 내릴 만큼 트래픽이 충분한가?

테스트로 마케팅 영향을 파악합니다

테스트는 얼마나 오래 진행해야 하나요?

개인화 이메일 테스트

테스트 할당

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

할당도

평가를 위한 데이터 준비

# Group by user_id and variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

평가를 위한 데이터 준비

# Drop missing values from the control column
control = subscribers['control'].dropna()

# Drop missing values from the personalization column
personalization = subscribers['personalization'].dropna()

전환율

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

테스트를 시작해 봅시다!

pandas로 마케팅 캠페인 분석하기