A/B testing untuk pemasaran

Menganalisis Kampanye Pemasaran dengan pandas

Jill Rosok

Data Scientist

Apa itu A/B testing?

Sebelum menjalankan uji, tentukan:

Apa hasil yang diinginkan? Apa hipotesis kita?
Metrik apa yang ingin kita pengaruhi (mis. tampilan halaman, konversi)?
Apakah lalu lintas situs cukup untuk mencapai signifikansi statistik dan keputusan tepat waktu?

Pengujian membantu memahami dampak pemasaran

Berapa lama uji perlu berjalan?

Uji email personalisasi

Alokasi uji

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

Plot alokasi

Menyiapkan data untuk evaluasi uji

# Group by user_id and variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

Menyiapkan data untuk evaluasi uji

# Drop missing values from the control column
control = subscribers['control'].dropna()

# Drop missing values from the personalization column
personalization = subscribers['personalization'].dropna()

Tingkat konversi

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

Mari mulai menguji!

Menganalisis Kampanye Pemasaran dengan pandas