Експериментальний дизайн: налаштування параметрів тестування

A/B Testing на Python

Moe Lotfy, PhD

Principal Data Science Manager

Параметри розподілу

  • d має нормальний розподіл Математичне формулювання нульової та альтернативної гіпотез

  • Якщо спостережена різниця «d» малоймовірна:

    • відхиліть нульову гіпотезу
  • Розподіли нульової та альтернативної гіпотез

Графічне відображення розподілів нульової та альтернативної гіпотез

A/B Testing на Python

Параметри дизайну та типи помилок

  • Потужність (1- $\beta$)
    • $\beta$ = помилка II типу = хибнонегативний результат
    • Зазвичай встановлюють 80%
  • Мінімально виявний ефект (MDE)
    • Найменша різниця, яку важливо зафіксувати

Матриця типів помилок

Графічне відображення параметрів експерименту

A/B Testing на Python

Параметри дизайну та типи помилок

  • Рівень значущості $\alpha$
    • $\alpha$ = помилка I типу = хибнопозитивний результат
    • Зазвичай встановлюють 5%
  • P-value
    • Імовірність отриманого результату за умови, що нульова гіпотеза істинна.
    • Якщо p-value < $\alpha$
      • Відхиліть нульову гіпотезу
    • Якщо p-value > $\alpha$
      • Не відхиляйте нульову гіпотезу

Матриця типів помилок

Графічне відображення параметрів експерименту

A/B Testing на Python

Аналогія параметрів експерименту

Аналогія для пояснення статистичної потужності та параметрів:

  1. Час у магазині = розмір вибірки/тривалість експерименту
  2. Розмір пачки чипсів = розмір ефекту/MDE
  3. Чистота/організація в магазині = дисперсія даних

Аналогія статистичної потужності

A/B Testing на Python

Давайте потренуємось!

A/B Testing на Python

Preparing Video For Download...