Представление результатов A/B-теста

A/B-тестирование в R

Lauryn Burleigh

Data Scientist

Визуализации A/B-теста

Передача выводов за пределы команды по работе с данными

Наглядные визуализации
Точная передача результатов

Визуализации A/B-теста

Столбчатые диаграммы

Гипотеза о сравнении средних групп
- t-тест

Визуализирует:

Среднее
Планки погрешностей
- Стандартное отклонение
- Стандартная ошибка
- Доверительный интервал

Столбчатая диаграмма со средним временем поедания пиццы «Пепперони» (розовый) и пиццы «Сыр» (синий) по оси X. Для каждого столбца построены планки погрешностей.

Подготовка данных для столбчатой диаграммы

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06

Построение столбчатых диаграмм

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

Столбчатая диаграмма со средним значением для текущего дизайна сайта (розовый) и нового варианта дизайна (синий) по оси X. Для каждого столбца построены планки погрешностей.

Ящики с усами

Сравнение медиан групп
- Критерий Манна–Уитни
- Критерий хи-квадрат
- Точный критерий Фишера
- t-тесты
Нижняя граница ящика: 25% значений ниже
Верхняя граница ящика: 75% значений ниже
Усы: наибольшее и наименьшее значения
- Выбросы исключены
Выбросы: точки за пределами усов

Ящик с усами для времени поедания пиццы «Пепперони» (розовый) и пиццы «Сыр» (синий).

Построение ящиков с усами

Данные в длинном формате
Подходит для исследователей, статистиков или оценки ненормальных распределений

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

Ящик с усами для времени поедания пиццы «Пепперони» (розовый) и пиццы «Сыр» (синий).

Точечные диаграммы

Взаимосвязь между переменными
- Корреляции
Каждая точка
Тенденция: направление и скорость

Точечная диаграмма: по оси X — время поедания пиццы, по оси Y — удовольствие от пиццы.

Построение точечных диаграмм

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

Точечная диаграмма положительной корреляции: по оси X — время, по оси Y — удовольствие; точки окрашены в розовый для пиццы «Пепперони» и в синий для пиццы «Сыр».

Построение точечных диаграмм

Выборка данных для анализа одной группы

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

Точечная диаграмма положительной корреляции: по оси X — время, по оси Y — удовольствие; только данные по пицце «Пепперони».

Представление данных

Аудитория без статистической подготовки:

Статистические значения малоинформативны
Используйте практические выводы
Заключение по тесту
Анализ мощности
Планки погрешностей

Стоковое изображение: представление результатов данных двум слушателям.

Пример представления данных

Результаты:

Значимый t-тест
Мощность = 0,9

Презентация:

Обнаружено значимое различие
Пицца «Пепперони» съедается быстрее, чем «Сыр»
Результаты надёжны
Небольшой разброс (планки погрешностей)

Давайте потренируемся!

A/B-тестирование в R