A/Bテストの留意点

Rで学ぶA/Bテスト

Lauryn Burleigh

Data Scientist

A/Bを使うのは次のときのみ

A/Bテストの検討事項

データの変動

変更後、リピーザーが一時的に減って戻り、新規が増加することを示す折れ線。

冬の休暇期に売上が増える。

セール中は売上が増え、期間外は減る。

normaldist <- rnorm(10000) 
datasample <- sample(normaldist, 10)
ggplot() + 
    aes(datasample) +
    geom_histogram(bins = 8)

10点のヒストグラムで、x軸全体に点が散らばる。

10点のヒストグラムで、x軸の初・中・終に棒がある。

10点のヒストグラムで、棒は主に中央に集中。

チーズとペパロニの1トッピングのピザ（各群に被験者3名）と、ピーマン＋玉ねぎ、オリーブ＋にんにくの2トッピングのピザ（各群に被験者3名）。

ファミリー誤差率を計算

1 - (1-0.05)^10

1 - (0.95)^10

0.40126306076

40%

初期は新規投稿が多いが、時間とともに平均へ回帰する折れ線グラフ。

元のボタンは投稿数が一定、変更群は当初増えるが平均へ回帰し差が縮むことを示す折れ線グラフ。

mean(c(1, 10))

5.5

mean(c(1, 10, 9))

6.6666

Rで学ぶA/Bテスト