Статистическая значимость
Проверка гипотез в R
Richie Cotton
Data Evangelist at DataCamp
Повторение: p-значение
- p-значения количественно оценивают свидетельства в пользу нулевой гипотезы.
- Большое p-значение → нулевая гипотеза не отвергается.
- Малое p-значение → нулевая гипотеза отвергается.
- Где находится граница?
Уровень значимости
Уровень значимости критерия ($\alpha$) — это пороговое значение для «разумных сомнений».
- Распространённые значения $\alpha$:
0.1,0.05и0.01. - Если $p \le \alpha$, отвергаем $H_{0}$, иначе — не отвергаем $H_{0}$.
- $\alpha$ следует задавать до проведения проверки гипотезы.
Вычисление p-значения
alpha <- 0.05
prop_child_samp <- stack_overflow %>%
summarize(
point_estimate = mean(age_first_code_cut == "child")
) %>%
pull(point_estimate)
prop_child_hyp <- 0.35
std_error <- 0.0096028
z_score <- (prop_child_samp - prop_child_hyp) / std_error
p_value <- pnorm(z_score, lower.tail = FALSE)
3.818e-05
p_value <= alpha
TRUE
p_value меньше или равно alpha, поэтому отвергаем $H_{0}$ и принимаем $H_{A}$.
Доля специалистов по данным, начавших программировать в детстве, превышает 35%.
Доверительные интервалы
При уровне значимости 0,05 обычно используют доверительный интервал 1 - 0.05 = 0.95.
conf_int <- first_code_boot_distn %>%
summarize(
lower = quantile(first_code_child_rate, 0.025),
upper = quantile(first_code_child_rate, 0.975)
)
# A tibble: 1 x 2
lower upper
<dbl> <dbl>
1 0.369 0.407
Типы ошибок
| Не совершал преступление | Совершил преступление | |
|---|---|---|
| Приговор: не виновен | верно | ушёл от ответственности |
| Приговор: виновен | ошибочное осуждение | верно |
| реальная $H_{0}$ | реальная $H_{A}$ | |
|---|---|---|
| выбрана $H_{0}$ | верно | ложноотрицательный результат |
| выбрана $H_{A}$ | ложноположительный результат | верно |
Ложноположительные результаты — это ошибки I рода, ложноотрицательные — ошибки II рода.
Возможные ошибки в нашем примере
Если $p \le \alpha$, отвергаем $H_{0}$:
- Могла возникнуть ошибка ложноположительного результата (I рода): мы решили, что специалисты по данным начинали программировать в детстве чаще, хотя в действительности это не так.
Если $p \gt \alpha$, не отвергаем $H_{0}$:
- Могла возникнуть ошибка ложноотрицательного результата (II рода): мы решили, что специалисты по данным начинали программировать в детстве с той же частотой, что и разработчики ПО, хотя в действительности — чаще.
Давайте потренируемся!
Проверка гипотез в R
