Звітність за результатами A/B-тесту

A/B Testing в R

Lauryn Burleigh

Data Scientist

Візуалізації A/B

 

  • Надсилайте висновки за межі дата-команди

 

  • Чіткі візуалізації
  • Точно передавайте результати

Візуалізації A/B

A/B Testing в R

Стовпчикові діаграми

  • Гіпотеза про порівняння середніх груп
    • t-test

Візуалізує:

  • Середнє
  • Смуги похибок
    • Стандартне відхилення
    • Стандартна похибка
    • Довірчий інтервал

Стовпчикова діаграма, що показує середній час поїдання піци Pepperoni (рожевий) і Cheese (синій) на осі x. Для кожного стовпчика нанесено смуги похибок.

A/B Testing в R

Підготовка даних для стовпчиків

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06
A/B Testing в R

Використання стовпчикових діаграм

 

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Стовпчикова діаграма, що показує середній показник для поточного дизайну сайту (рожевий) і нового варіанту (синій) на осі x. Для кожного стовпчика нанесено смуги похибок.

A/B Testing в R

Діаграми «ящик із вусами»

  • Порівняння медіан груп
    • Манна—Вітні U
    • Хі-квадрат
    • Точний тест Фішера
    • t-тести
  • Нижня межа коробки: нижче 25% даних
  • Верхня межа коробки: нижче 75% даних
  • Вуса: найвищі та найнижчі значення
    • Без викидів
  • Викиди: точки поза «вусами»

Ящик із «вусами» для часу поїдання піци Pepperoni (рожевий) і Cheese (синій).

A/B Testing в R

Використання діаграм «ящик із вусами»

  • Дані у «довгому» форматі
  • Ідеально для дослідників, статистиків або для оцінки ненормальних розподілів

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Ящик із «вусами» для часу поїдання піци Pepperoni (рожевий) і Cheese (синій).

A/B Testing в R

Точкові діаграми

  • Зв'язок між змінними
    • Кореляції
  • Кожна точка — спостереження
  • Тренд: напрям і швидкість

Точкова діаграма з часом поїдання піци на осі x і задоволенням від піци на осі y.

A/B Testing в R

Використання точкових діаграм

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

 

Точкова діаграма позитивної кореляції: час на осі x, задоволення на осі y; точки рожеві для Pepperoni та сині для Cheese.

A/B Testing в R

Використання точкових діаграм

  • Зробіть підвибірку, щоб оцінити одну групу

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

Точкова діаграма позитивної кореляції: час на осі x, задоволення на осі y лише для піци Pepperoni.

A/B Testing в R

Подання даних

Аудиторія без статистичної підготовки:

  • Статистичні значення неінформативні
  • Використовуйте прикладні висновки
  • Подавайте висновок тесту
  • Аналіз потужності
  • Смуги похибок

Стокове зображення презентації результатів даних двом людям.

A/B Testing в R

Приклад подання даних

Результати:

  • Значущий t-test
  • Power = 0,9

Презентація:

  • Виявлено значущу різницю
  • Піцу Pepperoni їли швидше, ніж Cheese
  • Результати надійні
  • Великих коливань немає (смуги похибок)

Стовпчикова діаграма, що показує середній показник для поточного дизайну сайту (рожевий) і нового варіанту (синій) на осі x. Для кожного стовпчика нанесено смуги похибок.

A/B Testing в R

Давайте потренуємось!

A/B Testing в R

Preparing Video For Download...