Essais A/B en marketing

Analyser des campagnes marketing avec pandas

Jill Rosok

Data Scientist

Qu'est-ce qu'un test A/B ?

Avant de lancer le test, déterminez :

Quel résultat visons-nous ? Quelle est notre hypothèse ?
Quelle mesure voulons-nous améliorer (p. ex., pages vues, conversions) ?
Le trafic sera-t-il suffisant pour atteindre la signification statistique et décider rapidement ?

Tester pour comprendre l'impact marketing

Homme consultant des tableaux de données

Combien de temps un test doit-il durer ?

Chronomètre sur un bureau

Test de courriel personnalisé

Courriel personnalisé sur un téléphone

Répartition du test

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

Graphique de répartition

Préparer les données pour évaluer le test

# Regrouper par user_id et variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

Préparer les données pour évaluer le test

# Retirer les valeurs manquantes de la colonne control
control = subscribers['control'].dropna()

# Retirer les valeurs manquantes de la colonne personalization
personalization = subscribers['personalization'].dropna()

Taux de conversion

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

Passons à la pratique !

Analyser des campagnes marketing avec pandas