Statistická významnost

Testování hypotéz v Pythonu

James Chapman

Curriculum Manager, DataCamp

Rekapitulace p-hodnoty

p-hodnoty kvantifikují důkaz ve prospěch nulové hypotézy
Vysoká p-hodnota → nezamítáme nulovou hypotézu
Nízká p-hodnota → zamítáme nulovou hypotézu
Kde je hranice?

Hladina významnosti

Hladina významnosti testu hypotéz ($\alpha$) je hraniční hodnota pro „rozumnou pochybnost"

Běžné hodnoty $\alpha$: 0.2, 0.1, 0.05, 0.01
Pokud $p \le \alpha$, zamítáme $H_{0}$, jinak nezamítáme $H_{0}$
$\alpha$ se stanovuje před provedením testu hypotéz

Výpočet p-hodnoty

alpha = 0.05

prop_child_samp = (stack_overflow['age_first_code_cut'] == "child").mean()
prop_child_hyp = 0.35

std_error = np.std(first_code_boot_distn, ddof=1)

z_score = (prop_child_samp - prop_child_hyp) / std_error

p_value = 1 - norm.cdf(z_score, loc=0, scale=1)

3.1471479512323874e-05

Rozhodnutí

alpha = 0.05

print(p_value)

3.1471479512323874e-05

p_value <= alpha

True

Zamítáme $H_{0}$ ve prospěch $H_{A}$

Intervaly spolehlivosti

Pro hladinu významnosti $\alpha$ se obvykle volí interval spolehlivosti na úrovni 1 - $\alpha$

$\alpha=0.05$ → $95\%$ interval spolehlivosti

import numpy as np
lower = np.quantile(first_code_boot_distn, 0.025)
upper = np.quantile(first_code_boot_distn, 0.975)
print((lower, upper))

(0.37063246351172047, 0.41132242370632466)

Typy chyb

	Skutečně nevinen	Skutečně vinen
Verdikt: nevinen	správně	unikl trestu
Verdikt: vinen	nesprávné odsouzení	správně

	skutečná $H_{0}$	skutečná $H_{A}$
zvolena $H_{0}$	správně	falešně negativní
zvolena $H_{A}$	falešně pozitivní	správně

Falešně pozitivní výsledky jsou chyby I. druhu; falešně negativní jsou chyby II. druhu.

Možné chyby v našem příkladu

Pokud $p \le \alpha$, zamítáme $H_{0}$:

Falešně pozitivní chyba (I. druhu): datoví vědci nezačali programovat jako děti s vyšší pravděpodobností

Pokud $ p \gt \alpha$, nezamítáme $H_{0}$:

Falešně negativní chyba (II. druhu): datoví vědci začali programovat jako děti s vyšší pravděpodobností

Pojďme si procvičit!

Testování hypotéz v Pythonu