为何要做实验？

Python 中的 A/B 测试

Moe Lotfy, PhD

Principal Data Science Manager

A/B 测试的价值

  • 降低对新设计与功能影响的不确定性

  • 决策：科学、循证，而非直觉

  • 投资高回报：小改动带来大提升

  • 业务成熟期的持续优化

  • 相关不等于因果

Python 中的 A/B 测试

证据等级

改编的证据等级图

1 https://jamanetwork.com/journals/jama/article-abstract/392650
Python 中的 A/B 测试

错误信息会降低流失吗？

  • Microsoft Office 365 伪相关示例：$^1$

    Microsoft Office 365 伪相关示例

    • 伪相关： 表面上强且似乎有因果，但实际上没有。
1 Kohavi, Ron,Tang, Diane,Xu, Ya. Trustworthy Online Controlled Experiments. Cambridge University Press.
Python 中的 A/B 测试

皮尔逊相关系数

  • 衡量两个变量线性关系强度的分数。
  • r>0：正相关
  • r = 0：无相关
  • r<0：负相关
  • 皮尔逊相关系数（r）公式：

皮尔逊相关系数（r）公式

  • 假设：正态分布与线性关系
Python 中的 A/B 测试

相关性的可视化检查

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

散点图展示数据集中三列之间的关系

Python 中的 A/B 测试

皮尔逊相关热力图

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

数据集中所有变量及其相关系数的热力图

Python 中的 A/B 测试

Passons à la pratique !

Python 中的 A/B 测试

Preparing Video For Download...