A/Bテストとデザイン

Rで学ぶA/Bテスト

Lauryn Burleigh

Data Scientist

A/Bテスト

  • 統計手法
  • データ主導の意思決定
  • 差や関係を検定
  • 適用例:
    • マーケティング最適化、サイトや広告のテスト

本コースで扱う内容:

  • A/Bデータの分析
  • 意思決定と予測

 

A/Bテストの図。2つの類似したタブレットと各々の異なる割合を示す。

Rで学ぶA/Bテスト

A/Bデザイン

  • 条件の影響:
    • チーズ/ペパロニを食べる時間

 

  • グループA: チーズ
  • グループB: ペパロニ
  • 被験者間デザイン

1人の被験者は1つのグループにのみ参加。

Rで学ぶA/Bテスト

対照群

 

 

グループA 友人のCharlie、Sam、Hunterがチーズを選び、グループAになる。

  • 対照群

 

 

グループB 友人のJessie、Skylar、Elliotがペパロニを選び、グループBになる。

  • 実験群
Rで学ぶA/Bテスト

データフレームの整理

ワイド形式

  • グループが別列
  • 被験者間デザインのためNA
ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 6.32 NA
04 NA 6.53
05 NA 7.01
06 NA 6.98

ロング形式

  • グループは1列で指定
  • 望ましい形式
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Cheese 6.32
04 Pepperoni 7.64
05 Pepperoni 7.98
06 Pepperoni 5.62
Rで学ぶA/Bテスト

ワイドからロングへ

ID Cheese Pepperoni
01 5.21 NA
02 3.75 NA
03 NA 6.53
04 NA 7.01
ID Topping Time
01 Cheese 5.21
02 Cheese 3.75
03 Pepperoni 7.64
04 Pepperoni 7.98 
library(tidyr)

longdf <- Pizza %>% pivot_longer(cols = c("Cheese", "Pepperoni"),

          names_to = "Topping", values_to = "Time") %>%

          na.omit()
Rで学ぶA/Bテスト

グループを可視化

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) +
geom_histogram()

ペパロニの食べる速度は広め、チーズの食べる速度は狭めに分布するヒストグラム。

Rで学ぶA/Bテスト

グループを分けて表示

library(ggplot2)

ggplot(Pizza, aes(x = Time,
                  fill = Topping)) + 

geom_histogram() + facet_grid(Topping~.)

ペパロニの平均時間が7、チーズの平均時間が5の食べる速度のヒストグラム。

Rで学ぶA/Bテスト

A/Bテストの仮説

グループ間の指標比較

  • チーズの嗜好はペパロニと異なる
  • 食べる速さも異なる

条件間の差

グループ内の指標関係

  • 嗜好は食べる速さと関連
  • チーズ・ペパロニ両方で、ピザの嗜好は食べる速さと関連
  • 片方のみ（チーズ）で、チーズ嗜好はチーズを食べる速さと関連

指標間の傾向

Rで学ぶA/Bテスト

練習しましょう！

Rで学ぶA/Bテスト

Preparing Video For Download...