Pruebas A/B para marketing

Análisis de campañas de marketing con pandas

Jill Rosok

Data Scientist

¿Qué es el A/B testing?

Antes de ejecutar la prueba, define:

¿Qué resultado queremos? ¿Cuál es la hipótesis?
¿Qué métrica queremos impactar (p. ej., páginas vistas, conversiones)?
¿Tendremos suficiente tráfico para lograr significancia estadística y decidir a tiempo?

Las pruebas ayudan a entender el impacto del marketing

¿Cuánto debe durar una prueba?

Prueba de email personalizado

Asignación de la prueba

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

Gráfico de asignación

Preparar los datos para evaluar la prueba

# Agrupar por user_id y variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

Preparar los datos para evaluar la prueba

# Quitar valores faltantes de la columna control
control = subscribers['control'].dropna()

# Quitar valores faltantes de la columna personalization
personalization = subscribers['personalization'].dropna()

Tasas de conversión

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

¡A probar!

Análisis de campañas de marketing con pandas