Статистична значущість

Перевірка гіпотез у R

Richie Cotton

Data Evangelist at DataCamp

Підсумок про p-значення

p-значення вимірюють силу доказів на користь нульової гіпотези.
Велике p-значення → не відхиляємо нульову гіпотезу.
Маленьке p-значення → відхиляємо нульову гіпотезу.
Де межа відсікання?

Рівень значущості

Рівень значущості перевірки гіпотези ($\alpha$) — це поріг для «поза розумним сумнівом».

Типові значення $\alpha$: 0.1, 0.05 і 0.01.
Якщо $p \le \alpha$ — відхиляємо $H_{0}$, інакше — не відхиляємо $H_{0}$.
$\alpha$ слід встановити до проведення перевірки гіпотези.

Обчислення p-значення

alpha <- 0.05

prop_child_samp <- stack_overflow %>%
  summarize(
    point_estimate = mean(age_first_code_cut == "child")
  ) %>%
  pull(point_estimate)
prop_child_hyp <- 0.35
std_error <- 0.0096028
z_score <- (prop_child_samp - prop_child_hyp) / std_error

p_value <- pnorm(z_score, lower.tail = FALSE)

3.818e-05

p_value <= alpha

TRUE

p_value менше або дорівнює alpha, отже, відхиляємо $H_{0}$ і приймаємо $H_{A}$.

Частка дата-сайентістів, які почали програмувати в дитинстві, більша за 35%.

Довірчі інтервали

Для рівня значущості 0,05 зазвичай беруть довірчий інтервал 1 - 0.05 = 0.95.

conf_int <- first_code_boot_distn %>%
  summarize(
    lower = quantile(first_code_child_rate, 0.025),
    upper = quantile(first_code_child_rate, 0.975)
  )

# A tibble: 1 x 2
  lower upper
  <dbl> <dbl>
1 0.369 0.407

Типи помилок

	Насправді не скоїв злочину	Насправді скоїв злочин
Вердикт «невинний»	правильно	уникнув покарання
Вердикт «винний»	хибне засудження	правильно

	справжнє $H_{0}$	справжнє $H_{A}$
обране $H_{0}$	правильно	хибнонегативний
обране $H_{A}$	хибнопозитивний	правильно

Хибнопозитивні — це помилки I типу; хибнонегативні — помилки II типу.

Можливі помилки в нашому прикладі

Якщо $p \le \alpha$, ми відхиляємо $H_{0}$:

Могла статись хибнопозитивна (I типу) помилка: ми вирішили, що дата-сайентісти частіше починали кодувати в дитинстві, хоча насправді — ні.

Якщо $ p \gt \alpha$, ми не відхиляємо $H_{0}$:

Могла статись хибнонегативна (II типу) помилка: ми вирішили, що дата-сайентісти починали кодувати так само часто, як інженери ПЗ, хоча насправді — частіше.

Давайте потренуємось!

Перевірка гіпотез у R