A/B-тестирование

Понимание науки о данных

Lis Sulmont

Curriculum Manager, DataCamp

Рабочий процесс в науке о данных

Рабочий процесс в науке о данных

Понимание науки о данных

Что такое эксперименты в науке о данных?

Эксперименты помогают принимать решения и делать выводы

  1. Сформулируйте вопрос
  2. Выдвиньте гипотезу
  3. Соберите данные
  4. Проверьте гипотезу статистическим тестом
  5. Интерпретируйте результаты
Понимание науки о данных

Практический пример: какой заголовок поста лучше?

Формулировка вопроса: какой заголовок блога — A или B — получит больше кликов?

Гипотеза: заголовки A и B дают одинаковое количество кликов.

Сбор данных:

  • 50% пользователей увидят заголовок A
  • 50% пользователей увидят заголовок B
  • Отслеживаем CTR до достижения нужного размера выборки

a-b-test-headlines.jpg

Понимание науки о данных

Практический пример: какой заголовок поста лучше?

Проверка гипотезы статистическим тестом: значимо ли различие в CTR заголовков?

Интерпретация результатов:

  • Выберите заголовок
  • Или задайте новые вопросы и спроектируйте следующий эксперимент!

a-b-test-headlines.jpg

Понимание науки о данных

Что такое A/B-тестирование?

Также известно как тестирование «чемпион/претендент»

a-b-test.png

Понимание науки о данных

Обзор терминологии

  • Размер выборки: количество используемых точек данных
  • Статистическая значимость: результат, скорее всего, не случаен
    • С учётом допущений статистической модели
    • Для вычисления используются статистические тесты:
      • например, t-тест, Z-тест, ANOVA, критерий хи-квадрат
Понимание науки о данных

Этапы A/B-тестирования

  • Выбор метрики для отслеживания
  • Расчёт размера выборки
  • Проведение эксперимента
  • Проверка значимости
Понимание науки о данных

Выбор метрики: показатель кликабельности

click-on-link.jpg

Понимание науки о данных

sample-size-percent.jpg

  • Базовая метрика для оценки изменений
    • Как часто пользователи в целом переходят по ссылкам на наши блоги
  • Если значение сильно отличается от 50%, нужна большая выборка
    • CTR обычно невысокий (<3%)
Понимание науки о данных

sample-size-sensitivity.jpg

Чем больше выборка, тем меньшие изменения можно обнаружить

Понимание науки о данных

Проведение эксперимента

run-experiment.jpg

Понимание науки о данных

Проверка значимости

significance.jpg

Понимание науки о данных

Что делать, если результаты незначимы?

  • Различие меньше выбранного порогового значения
  • Увеличение времени теста не поможет
  • Различие может существовать, но оно слишком мало и незначимо для нас
Понимание науки о данных

Давайте потренируемся!

Понимание науки о данных

Preparing Video For Download...