検出力とサンプルサイズ

Rで学ぶA/Bテスト

Lauryn Burleigh

Data Scientist

検出力の定義

帰無仮説が偽のときにそれを棄却する確率
帰無を棄却しない第II種過誤を避けること
望ましい: 第II種過誤は小、検出力は大

左に帰無仮説の正規分布、右に対立仮説の分布。部分的に重なり、重なり位置のp値を破線で表示。対立仮説下で線の左が第II種過誤、右が検出力。

検出力の利点

検定の有用性

棄却すべき帰無仮説を棄却できる

左に帰無仮説の正規分布、右に対立仮説の分布。部分的に重なり、重なり位置のp値を破線で表示。対立仮説下で線の左が第II種過誤、右が検出力。

検出力

必要なサンプルサイズを決める
結果の信頼性を確認

サンプルサイズ

効果量の推定
検出力の推定（一般に0.8）
有意水準（一般に0.05）

サンプルサイズごとの重なり分布。小さいサンプルはt値の分布が広く、有意に達するにはより大きなt値が必要。x軸はt値。

library(pwr)
pwr.t.test(d = .8, power = 0.8,

           sig.level = 0.05,

           type = "one.sample",

           alternative = "two.sided")

     One-sample t test power calculation 
              n = 14.30276
              d = 0.8
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

効果量

期待される効果量
対照群の平均 − 介入群の平均

左に帰無仮説の正規分布、右に対立仮説の分布。部分的に重なり、重なり位置のp値を破線で表示。対立仮説下で線の左が第II種過誤、右が検出力。赤いバーは2分布のピーク差＝効果量を示す。

解析前

効果量の見積もり方法:

背景情報
予備データ

解析後

効果量の見積もり方法:

全データセット

検定の検出力解析

検出力が高い＝偽の帰無仮説を正しく棄却する確率が高い

必要な3要素:

サンプルサイズ
効果量
有意水準（α）

library(pwr)
pwr.t.test(n = 20, sig.level = 0.045, 
           d = .81, type = "one.sample")

     One-sample t test power calculation 
              n = 20
              d = 0.81
      sig.level = 0.045
          power = 0.9223189
    alternative = two.sided

ピザの分布

類似した分布

有意差なし

2つのヒストグラム。ピンクはPepperoni、青はCheese。x軸は値、y軸は頻度。ピークは近接。

異なる分布

有意差が出やすい

2つのヒストグラム。ピンクはPepperoni、青はCheese。x軸は値、y軸は頻度。ピークは離れている。

ピザの仮説

ピンクの帰無仮説分布（平均差0）と青の対立仮説分布（平均差3.5）。臨界棄却値を1.64の縦線で表示。

類似: 棄却値の左
相違: 棄却値の右

library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)

ピザの検出力

ピンクの帰無仮説分布（平均差0）と青の対立仮説分布（平均差3.5）。臨界棄却値を1.64の縦線で表示。

類似: 棄却値の左
相違: 棄却値の右
検出力: 同じトッピング分布だと誤判定しない確率（第II種過誤の回避）

library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)

練習してみましょう！

Rで学ぶA/Bテスト