p値
Rによる仮説検定
Richie Cotton
Data Evangelist at DataCamp
刑事裁判
- 真の状態は2通り。
- 被告は犯罪を犯した。
- 被告は犯罪を犯していない。
- 評決も2通り。
- 有罪。
- 無罪。
- 当初、被告は無罪と推定されます。
- 証拠が「合理的疑いを超える」場合は「有罪」、そうでなければ「無罪」となります。
最初のプログラミング年齢
age_first_code_cutは、Stack Overflow ユーザーが最初にプログラミングを始めた時期を分類"adult"は14歳以上で開始"child"は14歳未満で開始
- 先行研究では、ソフトウェア開発者の35%が子どもの頃に開始したと示唆されています
- わたしたちの標本は、データサイエンティストの方が子どもで開始する割合が高いという証拠になりますか？
用語の定義
仮説は、未知の母数に関する主張です。
仮説検定は、2つの仮説を比較する検定です。
帰無仮説（$H_{0}$） は既存の「チャンピオン」案。
対立仮説（$H_{A}$） は研究者の新たな「チャレンジャー」案。
本課題では
- $H_{0}$: 子どもの頃にプログラミングを始めたデータサイエンティストの割合は、ソフトウェア開発者と同じ（35%）。
- $H_{A}$: 子どもの頃にプログラミングを始めたデータサイエンティストの割合は35%より大きい。
1 「Naught」は英国英語で「ゼロ」を意味します。歴史的理由から、帰無仮説は国際的に「H-naught」と発音されます。
- 真の状態は2通り。
- 被告は犯罪を犯した。
- 被告は犯罪を犯していない。
- 評決も2通り。
- 有罪。
- 無罪。
- 当初、被告は無罪と推定されます。
- 証拠が「合理的疑いを超える」場合は「有罪」、そうでなければ「無罪」となります。
- 実際には、$H_{A}$ か $H_{0}$ のどちらか一方が真です。
- 検定の結論は「$H_{0}$を棄却」または「$H_{0}$を棄却できない」。
- 最初は帰無仮説 $H_{0}$ を真と仮定します。
- 標本からの証拠が「有意」なら $H_{A}$ を選び、そうでなければ $H_{0}$ を選びます。
有意水準は、仮説検定における「合理的疑いを超える」に相当します。
片側検定と両側検定
仮説検定は、標本統計量が帰無分布の裾にあるかを判定します。
| 検定 | 裾 |
|---|---|
| 対立が帰無と「異なる」 | 両側 |
| 対立が帰無より「大きい」 | 右側 |
| 対立が帰無より「小さい」 | 左側 |
$H_{A}$: 子どもの頃にプログラミングを始めたデータサイエンティストの割合は35%より大きい。
対立仮説は「より大きい」なので、右側検定を用います。
p値
- p値が大きいほど、$H_{0}$の支持が強い。
- p値が小さいほど、$H_{0}$に反する証拠が強い。
- 小さいp値は、統計量が帰無分布（帰無仮説が真なら得られる統計量の分布）の裾にあることを意味します。
- p-value の「p」は確率を表します。
- p値での「小さい」は「0に近い」を意味します。
p値の定義
p値とは、
検定統計量が
観測値と同程度以上に極端である確率
（元の標本で観測された値以上）、
帰無仮説が真であると仮定しての確率です。
zスコアの計算
prop_child_samp <- stack_overflow %>%
summarize(point_estimate = mean(age_first_code_cut == "child")) %>%
pull(point_estimate)
0.388
prop_child_hyp <- 0.35
std_error <- 0.0096028
z_score <- (prop_child_samp - prop_child_hyp) / std_error
3.956
p値の計算
pnorm()は正規分布のCDF。- 左側検定 → 既定の
lower.tail = TRUEを使用。 - 右側検定 →
lower.tail = FALSEを指定。
p_value <- pnorm(z_score, lower.tail = FALSE)
3.818e-05
¡Vamos a practicar!
Rによる仮説検定
