A/B-testning för marknadsföring

Analysera marknadsföringskampanjer med pandas

Jill Rosok

Data Scientist

Vad är A/B-testning?

Bestäm följande innan testet körs:

Vad är det önskade resultatet av testet? Vad är vår hypotes?
Vilket mått försöker vi påverka (t.ex. sidvisningar, konverteringar)?
Får vi tillräckligt med trafik till webbplatsen för att nå statistisk signifikans och fatta ett beslut i tid?

Testning hjälper oss förstå marknadsföringens effekt

Hur länge behöver ett test köras?

Personaliserat e-posttest

Testfördelning

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

Fördelningsplot

Förbereda data för att utvärdera testet

# Group by user_id and variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

Förbereda data för att utvärdera testet

# Drop missing values from the control column
control = subscribers['control'].dropna()

# Drop missing values from the personalization column
personalization = subscribers['personalization'].dropna()

Konverteringsfrekvenser

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

Nu kör vi en övning!

Analysera marknadsföringskampanjer med pandas