营销中的 A/B 测试

使用 pandas 分析营销活动

Jill Rosok

Data Scientist

什么是 A/B 测试？

在运行测试前，请确定：

期望的结果与假设是什么？
关注的指标是什么（如页面浏览量、转化）？
流量是否足以在合理时间内达到统计显著并做出决策？

测试帮助理解营销影响

测试需要运行多久？

个性化邮件测试

测试分配

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

分配图

准备数据以评估测试

# Group by user_id and variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

准备数据以评估测试

# Drop missing values from the control column
control = subscribers['control'].dropna()

# Drop missing values from the personalization column
personalization = subscribers['personalization'].dropna()

转化率

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

开始测试！

使用 pandas 分析营销活动