A/B 測試

認識資料科學

Lis Sulmont

Curriculum Manager, DataCamp

資料科學工作流程

在資料科學中，實驗是什麼？

實驗能推動決策並得出結論

1. 提出問題
2. 建立假設
3. 蒐集資料
4. 以統計檢定檢驗假設
5. 解讀結果

案例研究：哪個部落格標題更好？

提出問題：標題 A 或標題 B 哪個帶來更多點擊？

建立假設：標題 A 與標題 B 的點擊數相同。

蒐集資料：

• 50% 使用者看到標題 A
• 50% 使用者看到標題 B
• 追蹤點擊率直到達到樣本數

案例研究：哪個部落格標題更好？

以統計檢定檢驗假設：兩個標題的點擊率差異是否顯著？

解讀結果：

• 選擇一個標題
• 或提出新問題，設計下一個實驗！

什麼是 A/B 測試？

又稱 Champion/Challenger 測試

名詞複習

• 樣本數：使用的資料點數量
• 統計顯著性：結果很可能不是偶然產生
  • 在統計模型假設成立下
  • 使用統計檢定計算：
    • 例如 t-test、Z-test、ANOVA、卡方檢定

A/B 測試步驟

• 選定追蹤指標
• 計算樣本數
• 執行實驗
• 檢查顯著性

選定指標：點擊率（CTR）

• 以基準指標評估變化
  • 一般使用者點擊我們部落格連結的頻率
• 若比率遠高或遠低於 50%，需要更大的樣本數
  • 點擊率通常很小（<3%）

樣本數越大，越能偵測到越小的變化

執行實驗

檢查顯著性

若結果不顯著怎麼辦？

• 差異小於我們設定的門檻
• 延長測試時間也無濟於事
• 仍可能有差異，但對我們而言太小、無顯著性

一起來練習吧！

認識資料科學