Статистична значущість

Тестування гіпотез у Python

James Chapman

Curriculum Manager, DataCamp

Коротко про p-значення

p-значення вимірюють силу доказів на користь нульової гіпотези
Велике p-значення → не відхиляємо нульову гіпотезу
Маленьке p-значення → відхиляємо нульову гіпотезу
Де межа відсікання?

Рівень значущості

Рівень значущості перевірки гіпотези ($\alpha$) — це поріг «поза розумним сумнівом»

Типові значення $\alpha$: 0.2, 0.1, 0.05, 0.01
Якщо $p \le \alpha$ — відхиляємо $H_{0}$, інакше — не відхиляємо $H_{0}$
$\alpha$ слід задати до виконання перевірки гіпотези

Обчислення p-значення

alpha = 0.05

prop_child_samp = (stack_overflow['age_first_code_cut'] == "child").mean()
prop_child_hyp = 0.35

std_error = np.std(first_code_boot_distn, ddof=1)

z_score = (prop_child_samp - prop_child_hyp) / std_error

p_value = 1 - norm.cdf(z_score, loc=0, scale=1)

3.1471479512323874e-05

Прийняття рішення

alpha = 0.05

print(p_value)

3.1471479512323874e-05

p_value <= alpha

True

Відхиляємо $H_{0}$ на користь $H_{A}$

Довірчі інтервали

Для рівня значущості $\alpha$ зазвичай обирають рівень довірчого інтервалу 1 − $\alpha$

$\alpha=0.05$ → довірчий інтервал $95\%$

import numpy as np
lower = np.quantile(first_code_boot_distn, 0.025)
upper = np.quantile(first_code_boot_distn, 0.975)
print((lower, upper))

(0.37063246351172047, 0.41132242370632466)

Типи помилок

	Справді не вчинив злочин	Справді вчинив злочин
Вердикт: невинний	правильно	вийшов сухим із води
Вердикт: винний	хибне засудження	правильно

	дійсне $H_{0}$	дійсне $H_{A}$
обране $H_{0}$	правильно	хибнонегативний
обране $H_{A}$	хибнопозитивний	правильно

Хибнопозитивні — це помилки I типу; хибнонегативні — помилки II типу.

Можливі помилки в нашому прикладі

Якщо $p \le \alpha$, відхиляємо $H_{0}$:

Хибнопозитивна помилка (I тип): дата-сайєнтисти не починали кодити в дитинстві частіше

Якщо $ p \gt \alpha$, не відхиляємо $H_{0}$:

Хибнонегативна помилка (II тип): дата-сайєнтисти починали кодити в дитинстві частіше

Давайте потренуємось!

Тестування гіпотез у Python