A/B-Tests für Marketing

Marketingkampagnen mit pandas analysieren

Jill Rosok

Data Scientist

Was ist A/B-Testing?

Vor dem Test festlegen:

Was ist das Ziel? Was ist unsere Hypothese?
Welche Kennzahl wollen wir beeinflussen (z. B. Pageviews, Conversions)?
Erhalten wir genug Traffic, um statistische Signifikanz zeitnah zu erreichen?

Tests zeigen die Wirkung von Marketing

Wie lange muss ein Test laufen?

Test: personalisierte E-Mails

Testzuweisung

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

Zuweisungsdiagramm

Daten für die Testauswertung vorbereiten

# Group by user_id and variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

Daten für die Testauswertung vorbereiten

# Drop missing values from the control column
control = subscribers['control'].dropna()

# Drop missing values from the personalization column
personalization = subscribers['personalization'].dropna()

Conversion-Rates

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

Lass uns üben!

Marketingkampagnen mit pandas analysieren