回報 A/B 測試結果

R 中的 A/B 測試

Lauryn Burleigh

Data Scientist

A/B 視覺化

 

  • 將結論傳達給資料團隊以外的人

 

  • 清楚的視覺化
  • 準確傳達發現

A/B 視覺化

R 中的 A/B 測試

長條圖

  • 比較組別平均數的假設
    • t 檢定

視覺化重點：

  • 平均數
  • 誤差棒
    • 標準差
    • 標準誤
    • 信賴區間

長條圖：x 軸為 Pepperoni 披薩與 Cheese 披薩的進食時間平均，粉紅與藍色長條，含誤差棒。

R 中的 A/B 測試

長條圖資料格式化

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

    summarise(AvgTime = mean(Time), 
              SdTime = sd(Time))

data

# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06
R 中的 A/B 測試

使用長條圖

 

library(ggplot2)

ggplot(data, aes(x = Topping,

              y = AvgTime,

              fill = Topping)) +

  geom_bar(stat =  "summary", 
           fun = "mean") +

  geom_errorbar(aes(
    ymin = AvgTime - SdTime, 
    ymax = AvgTime + SdTime))

長條圖：x 軸為目前網站設計（粉紅）與新設計（藍色）的平均表現，含誤差棒。

R 中的 A/B 測試

盒鬚圖

  • 比較組別中位數
    • Mann-Whitney U
    • 卡方
    • Fisher 精確檢定
    • t 檢定
  • 盒底：25% 資料點以下界
  • 盒頂：75% 資料點以下界
  • 觸鬚：最大與最小值
    • 不含離群值
  • 離群值：在觸鬚之外的點

盒鬚圖：Pepperoni 與 Cheese 披薩的進食時間，粉紅與藍色。

R 中的 A/B 測試

使用盒鬚圖

  • 資料為長格式
  • 適合研究者、統計人員，或用來評估非常態分佈

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

  geom_boxplot()

盒鬚圖：Pepperoni 與 Cheese 披薩的進食時間，粉紅與藍色。

R 中的 A/B 測試

散佈圖

  • 變數間關係
    • 相關性
  • 每個點代表一筆觀測
  • 趨勢：方向與速率

散佈圖：x 軸為吃披薩時間，y 軸為享受程度。

R 中的 A/B 測試

使用散佈圖

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

  geom_point()

 

散佈圖：正相關，x 軸為時間，y 軸為享受度，Pepperoni 為粉紅，Cheese 為藍色。

R 中的 A/B 測試

使用散佈圖

  • 篩選資料以評估單一組別

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

散佈圖：僅 Pepperoni 披薩，x 軸時間與 y 軸享受度呈正相關。

R 中的 A/B 測試

呈現資料

受眾缺乏統計背景：

  • 統計數值資訊量低
  • 用貼近情境的結論
  • 說明檢定結論
  • 檢定力分析
  • 誤差棒說明

示意圖：兩人正在聽取資料結果簡報。

R 中的 A/B 測試

資料呈現範例

結果：

  • t 檢定達顯著
  • 檢定力 = 0.9

簡報要點：

  • 發現顯著差異
  • Pepperoni 披薩吃得比 Cheese 更快
  • 結果可靠
  • 變異不大（誤差棒）

長條圖：x 軸為目前網站設計（粉紅）與新設計（藍色）的平均表現，含誤差棒。

R 中的 A/B 測試

一起來練習吧！

R 中的 A/B 測試

Preparing Video For Download...