A/B‑тестування та дизайн

A/B Testing в R

Lauryn Burleigh

Data Scientist

A/B‑тестування

  • Статистичний підхід
  • Рішення на основі даних
  • Перевірка відмінностей і зв'язків
  • Ідеально для:
    • Оптимізації маркетингових кампаній, тестування сайтів і оголошень

У цьому курсі:

  • Аналізувати дані A/B
  • Приймати рішення та робити прогнози

 

Ілюстрація A/B‑тесту: дві схожі таблетки й різні відсотки для кожної.

A/B Testing в R

Дизайн A/B

  • Вплив умови:
    • Час, щоб з'їсти піцу Cheese або Pepperoni

 

  • Група A: піца Cheese
  • Група B: піца Pepperoni
  • Дизайн між випробуваними (Between‑Subjects)

Один учасник належить лише до однієї групи.

A/B Testing в R

Контрольна група

 

 

Група A Друзі Charlie, Sam і Hunter обирають піцу Cheese та потрапляють до групи A.

  • Контрольна група

 

 

Група B Друзі Jessie, Skylar і Elliot обирають піцу Pepperoni та потрапляють до групи B.

  • Експериментальна група
A/B Testing в R

Організація датафрейму

Широкий формат

  • Групи в різних стовпцях
  • NA через міжгруповий дизайн
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

Довгий формат

  • Групи позначені в одному стовпці
  • Переважний формат
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
A/B Testing в R

Від широкого до довгого формату

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
A/B Testing в R

Візуалізація груп

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

Гістограма: широкий розподіл швидкості поїдання Pepperoni та вужчий — Cheese.

A/B Testing в R

Окремі групи

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

Гістограми: швидкість поїдання Pepperoni (середній час 7) і Cheese (середній час 5).

A/B Testing в R

Гіпотези A/B‑тесту

Порівняння показника між групами

  • Піцу Cheese смакують інакше, ніж Pepperoni
  • Піцу Cheese їдять з іншою швидкістю, ніж Pepperoni

Різниця між умовами

Зв'язок показників у групах

  • Насолода пов'язана зі швидкістю поїдання
  • Обидві групи (Cheese і Pepperoni): насолода піцою пов'язана зі швидкістю її поїдання
  • Одна група (Cheese): насолода піцою Cheese пов'язана зі швидкістю її поїдання

Тренд між показниками

A/B Testing в R

Давайте потренуємось!

A/B Testing в R

Preparing Video For Download...