A/B‑тестування

Розуміння Data Science

Lis Sulmont

Curriculum Manager, DataCamp

Робочий процес data science

Робочий процес data science

Розуміння Data Science

Що таке експерименти в data science?

Експерименти допомагають ухвалювати рішення та робити висновки

  1. Сформулюйте запитання
  2. Сформулюйте гіпотезу
  3. Зберіть дані
  4. Перевірте гіпотезу статистичним тестом
  5. Інтерпретуйте результати
Розуміння Data Science

Кейс: який заголовок блогу кращий?

Поставте запитання: який заголовок блогу — A чи B — дає більше кліків?

Сформулюйте гіпотезу: заголовки A і B дають однакову кількість кліків.

Зберіть дані:

  • 50% користувачів побачать заголовок A
  • 50% користувачів побачать заголовок B
  • Відстежуйте CTR, доки не досягнете потрібної вибірки

a-b-test-headlines.jpg

Розуміння Data Science

Кейс: який заголовок блогу кращий?

Перевірте гіпотезу статистичним тестом: чи суттєва різниця в CTR між заголовками?

Інтерпретуйте результати:

  • Оберіть заголовок
  • Або поставте нові запитання і спроєктуйте ще один експеримент!

a-b-test-headlines.jpg

Розуміння Data Science

Що таке A/B‑тестування?

Також називають Champion/Challenger Testing

a-b-test.png

Розуміння Data Science

Огляд термінів

  • Розмір вибірки: кількість спостережень
  • Статистична значущість: результат імовірно не випадковий
    • За припущень статистичної моделі
    • Використайте статистичні тести, щоб це обчислити:
      • напр., t‑test, Z‑test, ANOVA, критерій χ‑квадрат
Розуміння Data Science

Кроки A/B‑тестування

  • Вибір метрики для відстеження
  • Розрахунок розміру вибірки
  • Проведення експерименту
  • Перевірка значущості
Розуміння Data Science

Обрайте метрику: click‑through rate

click-on-link.jpg

Розуміння Data Science

sample-size-percent.jpg

  • Базова метрика для оцінки змін
    • Як часто загалом клікають на посилання до наших блогів
  • Якщо показник значно більший чи менший за 50%, потрібна велика вибірка
    • Клік‑рейт зазвичай малий (<3%)
Розуміння Data Science

sample-size-sensitivity.jpg

Більші вибірки дають змогу виявляти дрібніші зміни

Розуміння Data Science

Запустіть експеримент

run-experiment.jpg

Розуміння Data Science

Перевірте значущість

significance.jpg

Розуміння Data Science

Що, якщо результати незначущі?

  • Різниця менша за обраний поріг
  • Довше запускати тест не допоможе
  • Різниця може бути, але для нас вона замала й незначуща
Розуміння Data Science

Давайте потренуємось!

Розуміння Data Science

Preparing Video For Download...