Навіщо проводити експерименти?

A/B Testing на Python

Moe Lotfy, PhD

Principal Data Science Manager

Цінність A/B-тестування

Зменшити невизначеність щодо впливу нових дизайнів і функцій
Прийняття рішень → наукове, доказове — не інтуїція
Висока віддача інвестицій: прості зміни дають великі результати
Безперервна оптимізація на зрілій стадії бізнесу
Кореляція не означає причинність

Ієрархія доказів

Адаптована версія ієрархії доказів

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

Чи зменшують повідомлення про помилки відтік?

Приклад хибної кореляції в Microsoft Office 365:$^1$
- Хибна кореляція: сильна кореляція, що здається причинною, але нею не є.

¹ Kohavi, Ron,Tang, Diane,Xu, Ya. Надійні онлайн-контрольовані експерименти. Cambridge University Press.

Коефіцієнт кореляції Пірсона

Оцінка сили лінійного зв'язку між двома змінними.
r>0: додатна кореляція
r = 0: нейтральна кореляція
r<0: від'ємна кореляція

Формула коефіцієнта кореляції Пірсона (r):

Рівняння коефіцієнта кореляції Пірсона (r)

Припущення: нормальність розподілу та лінійність

Візуальна перевірка кореляцій

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Точкові діаграми, що показують зв'язок між трьома стовпцями набору даних

Теплова карта кореляції Пірсона

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

Теплова карта всіх змінних у наборі даних і їхніх коефіцієнтів кореляції

Давайте потренуємось!

A/B Testing на Python