Kiểm thử A/B cho marketing

Phân tích chiến dịch Marketing với pandas

Jill Rosok

Data Scientist

A/B testing là gì?

Trước khi chạy thử nghiệm, hãy xác định:

Kết quả mong muốn là gì? Giả thuyết của chúng ta?
Chúng ta muốn tác động đến chỉ số nào (ví dụ: lượt xem trang, chuyển đổi)?
Lưu lượng truy cập có đủ để đạt ý nghĩa thống kê và ra quyết định kịp thời không?

Kiểm thử giúp hiểu tác động marketing

Chạy thử nghiệm bao lâu?

Thử nghiệm email cá nhân hóa

Phân bổ thử nghiệm

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

Biểu đồ phân bổ

Chuẩn bị dữ liệu để đánh giá thử nghiệm

# Group by user_id and variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

Chuẩn bị dữ liệu để đánh giá thử nghiệm

# Drop missing values from the control column
control = subscribers['control'].dropna()

# Drop missing values from the personalization column
personalization = subscribers['personalization'].dropna()

Tỷ lệ chuyển đổi

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

Bắt đầu kiểm thử!

Phân tích chiến dịch Marketing với pandas