為何要做實驗？

Python 的 A/B 測試

Moe Lotfy, PhD

Principal Data Science Manager

A/B 測試的價值

  • 降低新設計與新功能影響的不確定性

  • 決策轉為科學、憑證據，而非憑直覺

  • 投資報酬高：小改動也能帶來大勝利

  • 事業成熟期持續最佳化

  • 相關不等於因果

Python 的 A/B 測試

證據等級

證據等級的調整版圖示

1 https://jamanetwork.com/journals/jama/article-abstract/392650
Python 的 A/B 測試

錯誤訊息會降低流失嗎？

  • Microsoft Office 365 的虛假相關範例：$^1$

    Microsoft Office 365 的虛假相關範例

    • 虛假相關：看似有因果、其實沒有的強相關。
1 Kohavi, Ron、Tang, Diane、Xu, Ya。Trustworthy Online Controlled Experiments。Cambridge University Press。
Python 的 A/B 測試

Pearson 相關係數

  • 衡量兩個變數之間線性關係強度的分數。
  • r>0：正相關
  • r = 0：無相關
  • r<0：負相關
  • Pearson 相關係數（r）公式：

Pearson 相關係數（r）方程式

  • 假設：常態分布與線性關係
Python 的 A/B 測試

相關性的視覺檢視

# Import visualization library seaborn
import seaborn as sns

# Create pairplots
sns.pairplot(admissions[['Serial No.',\
      'GRE Score', 'Chance of Admit']])

資料集中三個欄位兩兩關係的散佈圖

Python 的 A/B 測試

Pearson 相關熱度圖

# Import visualization library seaborn
import seaborn as sns

# Print Pearson correlation coefficient
print(admissions['GRE Score']\
   .corr(admissions['Chance of Admit']))

0.8026104595903503

# Plot correlations heatmap
sns.heatmap(admissions.corr(),annot=True)

資料集中所有變數的熱度圖與相關係數

Python 的 A/B 測試

一起來練習吧！

Python 的 A/B 測試

Preparing Video For Download...