Зачем проводить эксперименты?

A/B-тестирование в Python

Moe Lotfy, PhD

Principal Data Science Manager

Ценность A/B-тестирования

Снижение неопределённости при оценке влияния новых дизайнов и функций
Принятие решений на основе данных, а не интуиции
Высокая отдача от инвестиций: небольшие изменения дают значительный результат
Непрерывная оптимизация на зрелом этапе развития бизнеса
Корреляция не означает причинно-следственную связь

Иерархия доказательств

Адаптированная иерархия доказательств

¹ https://jamanetwork.com/journals/jama/article-abstract/392650

Снижают ли сообщения об ошибках отток?

Пример ложной корреляции в Microsoft Office 365:$^1$
- Ложная корреляция: сильная корреляция, которая выглядит как причинно-следственная связь, но таковой не является.

¹ Kohavi, Ron, Tang, Diane, Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.

Коэффициент корреляции Пирсона

Показатель силы линейной зависимости между двумя переменными.
r>0: положительная корреляция
r = 0: отсутствие корреляции
r<0: отрицательная корреляция

Формула коэффициента корреляции Пирсона (r):

Формула коэффициента корреляции Пирсона (r)

Предположения: нормальное распределение и линейность

Визуальный анализ корреляций

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

Диаграммы рассеяния, показывающие зависимость между тремя столбцами набора данных

Тепловая карта корреляции Пирсона

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

Тепловая карта корреляций всех переменных набора данных с коэффициентами корреляции

Давайте потренируемся!

A/B-тестирование в Python