A/B‑тестування для маркетингу

Аналіз маркетингових кампаній у pandas

Jill Rosok

Data Scientist

Що таке A/B‑тестування?

Перш ніж запускати тест, визначте:

Який бажаний результат тесту? Яка наша гіпотеза?
Яку метрику ми хочемо змінити (наприклад, перегляди сторінок, конверсії)?
Чи отримаємо ми достатній трафік, щоб досягти статистичної значущості й вчасно ухвалити рішення?

Тестування допомагає зрозуміти вплив маркетингу

Жінка аналізує результати тесту на ноутбуці

Скільки має тривати тест?

Пісковий годинник на столі

Тест персоналізованого електронного листа

Лист із персоналізацією на екрані

Розподіл у тесті

email = marketing[marketing['marketing_channel'] == 'Email']
allocation = email.groupby(['variant'])\
                           ['user_id'].nunique()

allocation.plot(kind='bar')
plt.title('Personalization test allocation')
plt.xticks(rotation = 0)
plt.ylabel('# participants')
plt.show()

Графік розподілу

Підготовка даних для оцінки тесту

# Group by user_id and variant
subscribers = email.groupby(['user_id', 
                             'variant'])['converted'].max()

subscribers = pd.DataFrame(subscribers.unstack(level=1))

Підготовка даних для оцінки тесту

# Drop missing values from the control column
control = subscribers['control'].dropna()

# Drop missing values from the personalization column
personalization = subscribers['personalization'].dropna()

Показники конверсії

print("Control conversion rate:", 
      np.mean(control))
print("Personalization conversion rate:", 
      np.mean(personalization))

Control conversion rate: 0.2814814814814815
Personalization conversion rate: 0.3908450704225352

Почнімо тестування!

Аналіз маркетингових кампаній у pandas