統計的有意性

Rによる仮説検定

Richie Cotton

Data Evangelist at DataCamp

p値の復習

p値は帰無仮説の根拠を定量化します。
p値が大きい → 帰無仮説を棄却できない。
p値が小さい → 帰無仮説を棄却する。
カットオフ点はどこか？

有意水準

仮説検定の有意水準（$\alpha$）は「合理的な疑いを超えた」判断のしきい値です。

$\alpha$ の一般的な値は 0.1、0.05、0.01 です。
$p \le \alpha$ の場合は $H_{0}$ を棄却し、そうでなければ棄却しません。
$\alpha$ は仮説検定を行う前に設定する必要があります。

p値の計算

alpha <- 0.05

prop_child_samp <- stack_overflow %>%
  summarize(
    point_estimate = mean(age_first_code_cut == "child")
  ) %>%
  pull(point_estimate)
prop_child_hyp <- 0.35
std_error <- 0.0096028
z_score <- (prop_child_samp - prop_child_hyp) / std_error

p_value <- pnorm(z_score, lower.tail = FALSE)

3.818e-05

p_value <= alpha

TRUE

p_value が alpha 以下のため、$H_{0}$ を棄却し $H_{A}$ を採択します。

データサイエンティストが子供の頃からプログラミングを始めた割合は35%より高いです。

信頼区間

有意水準0.05に対して、信頼区間は 1 - 0.05 = 0.95 とするのが一般的です。

conf_int <- first_code_boot_distn %>%
  summarize(
    lower = quantile(first_code_child_rate, 0.025),
    upper = quantile(first_code_child_rate, 0.975)
  )

# A tibble: 1 x 2
  lower upper
  <dbl> <dbl>
1 0.369 0.407

誤りの種類

	実際には無罪	実際には有罪
無罪判決	正しい	罪を逃れた
有罪判決	冤罪	正しい

	実際の $H_{0}$	実際の $H_{A}$
採択 $H_{0}$	正しい	偽陰性
採択 $H_{A}$	偽陽性	正しい

偽陽性は第一種の誤り、偽陰性は第二種の誤りです。

例における誤りの可能性

$p \le \alpha$ の場合、$H_{0}$ を棄却します：

偽陽性（第一種の誤り）が発生した可能性があります：データサイエンティストが実際にはそうでないのに、子供の頃からコーディングを始めた割合が高いと誤って判断したことになります。

$p \gt \alpha$ の場合、$H_{0}$ を棄却できません：

偽陰性（第二種の誤り）が発生した可能性があります：データサイエンティストが実際にはソフトウェアエンジニアより高い割合で子供の頃からコーディングしているのに、同じ割合だと誤って判断したことになります。

練習しましょう！

Rによる仮説検定