A/Bテスト結果の報告

Rで学ぶA/Bテスト

Lauryn Burleigh

Data Scientist

A/Bの可視化

 

  • データチーム外へ結論を伝える

 

  • 明確な可視化
  • 発見を正確に伝達

A/Bの可視化

Rで学ぶA/Bテスト

棒グラフ

  • グループ平均を比較する仮説
    • t検定

可視化するもの:

  • 平均
  • 誤差線
    • 標準偏差
    • 標準誤差
    • 信頼区間

ペパロニの食事時間の平均をピンク、チーズの食事時間の平均をブルーでx軸に示す棒グラフ。各バーに誤差線あり。

Rで学ぶA/Bテスト

棒グラフ用データの整形

library(dplyr)

data <- pizza %>%
    group_by(Topping) %>%

summarise(AvgTime = mean(Time), SdTime = sd(Time))
data
# A tibble: 2 × 3
  Topping   AvgTime SdTime
  <chr>       <dbl>  <dbl>
1 Cheese      5.81  0.948
2 Pepperoni   6.46  1.06 
Rで学ぶA/Bテスト

棒グラフの活用

 

library(ggplot2)

ggplot(data, aes(x = Topping,
y = AvgTime,
fill = Topping)) +
geom_bar(stat = "summary", fun = "mean") +
geom_errorbar(aes( ymin = AvgTime - SdTime, ymax = AvgTime + SdTime))

現在のWebデザインの平均をピンク、新しいデザインの平均をブルーでx軸に示す棒グラフ。各バーに誤差線あり。

Rで学ぶA/Bテスト

箱ひげ図

  • グループ中央値の比較
    • マン=ホイットニーU検定
    • カイ二乗検定
    • フィッシャーの正確確率検定
    • t検定
  • 下箱ひげの下端: 25%点
  • 上箱ひげの上端: 75%点
  • ひげ: 最小値と最大値
    • 外れ値は除外
  • 外れ値: ひげの外の点

ペパロニの食事時間をピンク、チーズをブルーで示す箱ひげ図。

Rで学ぶA/Bテスト

箱ひげ図の活用

  • ロング形式のデータ
  • 研究者・統計担当、または非正規分布の評価に最適

 

ggplot(pizza, aes(x = Topping, y = Time, 
                fill = Topping)) +

geom_boxplot()

ペパロニの食事時間をピンク、チーズをブルーで示す箱ひげ図。

Rで学ぶA/Bテスト

散布図

  • 変数間の関係
    • 相関
  • 各点は観測値
  • トレンド: 方向と速さ

x軸にピザを食べる時間、y軸に満足度を示す散布図。

Rで学ぶA/Bテスト

散布図の活用

 

library(ggplot2)

ggplot(pizza, aes(x = Time, 
                  y = Enjoyment,
                  fill = Topping)) +

geom_point()

 

x軸に時間、y軸に満足度の正の相関を示す散布図。各点はペパロニはピンク、チーズはブルー。

Rで学ぶA/Bテスト

散布図の活用

  • 1グループに絞って評価

 

ggplot(subset(pizza, 
              Topping %in% 
              "Pepperoni"),
       aes(x = Time, y = Enjoy)) + 
  geom_point()

 

ペパロニのみの、x軸に時間、y軸に満足度の正の相関を示す散布図。

Rで学ぶA/Bテスト

データの提示

統計の前提知識がない聴衆向け:

  • 統計量は有益でない
  • 実世界の示唆を使う
  • 検定の結論
  • 検出力解析
  • 誤差線

2人にデータ結果を提示しているストック画像。

Rで学ぶA/Bテスト

提示例

結果:

  • t検定は有意
  • 検出力 = 0.9

発表内容:

  • 有意差を確認
  • ペパロニはチーズより速く食べられた
  • 信頼できる結果
  • ばらつきは大きくない(誤差線)

現在のWebデザインの平均をピンク、新しいデザインの平均をブルーでx軸に示す棒グラフ。各バーに誤差線あり。

Rで学ぶA/Bテスト

Let's practice!

Rで学ぶA/Bテスト

Preparing Video For Download...