行銷的 A/B 測試

使用 pandas 分析行銷活動

Jill Rosok

Data Scientist

什麼是 A/B 測試？

在執行測試前先釐清：

測試想達成的結果是什麼？我們的假設是什麼？
想影響的指標是什麼（例如：瀏覽量、轉換）？
你的网站流量是否足夠，在合理時間內達到統計顯著並做出決策？

透過測試理解行銷影響

素材圖片：使用筆電的行銷分析

測試該跑多久？

素材圖片：碼表與時鐘

個人化電子郵件測試

素材圖片：電子郵件行銷

測試樣本分配

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

分配圖

準備資料以評估測試

# Group by user_id and variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

準備資料以評估測試

# Drop missing values from the control column
control = subscribers['control'].dropna()

# Drop missing values from the personalization column
personalization = subscribers['personalization'].dropna()

轉換率

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

開始測試吧！

使用 pandas 分析行銷活動