A/B testing สำหรับการตลาด

วิเคราะห์แคมเปญการตลาดด้วย pandas

Jill Rosok

Data Scientist

A/B testing คืออะไร?

ก่อนเริ่มการทดสอบ ควรกำหนด:

ผลลัพธ์ที่ต้องการจากการทดสอบคืออะไร? สมมติฐานของเราคืออะไร?
เมตริกที่ต้องการวัด (เช่น page views, Conversion) คืออะไร?
ปริมาณ Traffic เพียงพอที่จะบรรลุนัยสำคัญทางสถิติและตัดสินใจได้ทันเวลาหรือไม่?

การทดสอบช่วยให้เข้าใจผลกระทบทางการตลาด

ต้องทดสอบนานแค่ไหน?

การทดสอบอีเมลแบบ Personalized

การจัดสรรกลุ่มทดสอบ

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

กราฟการจัดสรร

เตรียมข้อมูลเพื่อประเมินผลการทดสอบ

# Group by user_id and variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

เตรียมข้อมูลเพื่อประเมินผลการทดสอบ

# Drop missing values from the control column
control = subscribers['control'].dropna()

# Drop missing values from the personalization column
personalization = subscribers['personalization'].dropna()

อัตรา Conversion

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

มาฝึกกันเถอะ!

วิเคราะห์แคมเปญการตลาดด้วย pandas