A/B-тестирование

Наука о данных для бизнеса

Kaelen Medeiros

Data Scientist at Medidata Solutions

Что такое A/B-тестирование?

Пример: заголовки статей

Этапы A/B-тестирования

• Выбор метрики для отслеживания
• Расчёт размера выборки
• Проведение эксперимента
• Проверка значимости

Выберите метрику для отслеживания

Проведите эксперимент

Проверьте значимость

Что делать, если результаты незначимы?

• Разница меньше выбранного порога
• Более длительный тест не поможет
• Разница может существовать, но она мала

Давайте потренируемся!

Наука о данных для бизнеса