A/B-тестирование и дизайн

A/B-тестирование в R

Lauryn Burleigh

Data Scientist

A/B-тестирование

  • Статистический метод
  • Решения на основе данных
  • Проверка различий и зависимостей
  • Подходит для:
    • Оптимизации маркетинговых кампаний, тестирования сайтов и рекламы

В этом курсе:

  • Анализ данных A/B-тестов
  • Принятие решений и прогнозирование

 

Иллюстрация A/B-теста: два похожих планшета с разными процентными показателями.

A/B-тестирование в R

Дизайн A/B-теста

  • Влияние условия:
    • Время поедания пиццы с сыром или пепперони

 

  • Группа A: пицца с сыром
  • Группа B: пицца с пепперони
  • Межгрупповой дизайн

Каждый участник входит только в одну группу.

A/B-тестирование в R

Контрольная группа

 

 

Группа A Чарли, Сэм и Хантер выбирают пиццу с сыром — они образуют группу A.

  • Контрольная группа

 

 

Группа B Джесси, Скайлар и Эллиот выбирают пиццу с пепперони — они образуют группу B.

  • Экспериментальная группа
A/B-тестирование в R

Организация датафрейма

Широкий формат

  • Группы в разных столбцах
  • NA из-за межгруппового дизайна
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Длинный формат

  • Группы обозначены в одном столбце
  • Предпочтительный формат
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
A/B-тестирование в R

Из широкого формата в длинный

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
A/B-тестирование в R

Визуализация групп

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Гистограмма: широкое распределение скорости поедания пиццы с пепперони и узкое — пиццы с сыром.

A/B-тестирование в R

Разделение групп

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Гистограмма: скорость поедания пиццы с пепперони со средним временем 7 и пиццы с сыром со средним временем 5.

A/B-тестирование в R

Гипотезы A/B-теста

Сравнение показателей между группами

  • Пицца с сыром нравится участникам иначе, чем пицца с пепперони
  • Пицца с сыром поедается с иной скоростью, чем пицца с пепперони

Различие между условиями

Взаимосвязь показателей внутри групп

  • Удовольствие связано со скоростью поедания
  • В обеих группах: удовольствие от пиццы связано со скоростью её поедания
  • В одной группе (сыр): удовольствие от пиццы с сыром связано со скоростью её поедания

Тенденция между показателями

A/B-тестирование в R

Давайте потренируемся!

A/B-тестирование в R

Preparing Video For Download...