A/B-testen voor marketing

Marketingcampagnes analyseren met pandas

Jill Rosok

Data Scientist

Wat is A/B-testen?

Bepaal vóór de test:

Wat is het gewenste resultaat? Wat is onze hypothese?
Welke metriek willen we beïnvloeden (bijv. pageviews, conversies)?
Krijgen we genoeg verkeer voor significantie en een tijdige beslissing?

Met testen meten we marketingimpact

Hoelang moet een test lopen?

Gepersonaliseerde e-mailtest

Testtoewijzing

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

Toewijzingsgrafiek

Data klaarzetten om de test te evalueren

# Groepeer op user_id en variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

Data klaarzetten om de test te evalueren

# Verwijder missende waarden uit de control-kolom
control = subscribers['control'].dropna()

# Verwijder missende waarden uit de personalization-kolom
personalization = subscribers['personalization'].dropna()

Conversieratio's

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

Aan de slag met testen!

Marketingcampagnes analyseren met pandas