A/B 測試：最佳實務與進階主題導論

Python 的 A/B 測試

Moe Lotfy, PhD

Principal Data Science Manager

最佳實務

避免偷看結果

  • 在達到設計的樣本數前偷看結果並做決策，會像多重比較一樣提高錯誤率。

考量星期效應

  • 週末與平日使用者行為可能不同，應納入整體行為考量。
Python 的 A/B 測試

最佳實務

  • 簡化／可行性：
    • 需要先做完整功能嗎？
    • 「Painted door」測試
  • 隔離性
    • 一次只改一個變數，才能歸因影響。
Python 的 A/B 測試

進階主題

  • 多因子設計與交互作用
    • 衡量各變數的獨立效果
    • 發現交互／協同效果
  • 貝葉斯 A/B 測試
    • 將先驗資料納入當前實驗
    • 將母體參數視為機率分佈
    • 更直覺地解讀測試結果
  • SUTVA 違反與網路效應
    • 一位使用者的實驗分派會影響他人
    • 社群網路的 A/B 測試常見
    • 一種作法：以叢集為單位分派
Python 的 A/B 測試

一起來練習吧！

Python 的 A/B 測試

Preparing Video For Download...