A/B 測試的考量

R 中的 A/B 測試

Lauryn Burleigh

Data Scientist

A/B 測試重點

只有在以下情況才用 A/B：

A/B 測試重點

折線圖：回訪使用者先降後回升，新用戶上升。

冬季假期期間銷售量上升。

促銷期間銷售上升，非促銷期間下降。

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

10 筆資料的直方圖，分布於整個 x 軸。

10 筆資料的直方圖，長條分佈在 x 軸的開頭、中段與尾端。

10 筆資料的直方圖，長條多集中在 x 軸中段。

起司與臘腸單一配料披薩各 3 名受試者；青椒配洋蔥與橄欖配大蒜雙配料披薩各 3 名受試者。

計算家族錯誤率

1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

折線圖：剛開始提交數多，隨時間回到均值。

折線圖：原按鈕提交無變化；更動組一開始很多新提交，但隨後均值回歸，與無更動組相會。

mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666

R 中的 A/B 測試