Statistická významnost

Testování hypotéz v R

Richie Cotton

Data Evangelist at DataCamp

Rekapitulace p-hodnoty

p-hodnoty kvantifikují důkazy pro nulovou hypotézu.
Velká p-hodnota → nulovou hypotézu nezamítáme.
Malá p-hodnota → nulovou hypotézu zamítáme.
Kde je hranice rozhodnutí?

Hladina významnosti

Hladina významnosti testu hypotéz ($\alpha$) je prahová hodnota pro „rozumnou pochybnost".

Běžné hodnoty $\alpha$ jsou 0.1, 0.05 a 0.01.
Pokud $p \le \alpha$, zamítáme $H_{0}$, jinak $H_{0}$ nezamítáme.
$\alpha$ by mělo být stanoveno před provedením testu hypotéz.

Výpočet p-hodnoty

alpha <- 0.05

prop_child_samp <- stack_overflow %>%
  summarize(
    point_estimate = mean(age_first_code_cut == "child")
  ) %>%
  pull(point_estimate)
prop_child_hyp <- 0.35
std_error <- 0.0096028
z_score <- (prop_child_samp - prop_child_hyp) / std_error

p_value <- pnorm(z_score, lower.tail = FALSE)

3.818e-05

p_value <= alpha

TRUE

p_value je menší nebo rovno alpha, proto zamítáme $H_{0}$ a přijímáme $H_{A}$.

Podíl datových vědců, kteří začali programovat v dětství, je větší než 35 %.

Intervaly spolehlivosti

Pro hladinu významnosti 0,05 se obvykle volí interval spolehlivosti 1 - 0.05 = 0.95.

conf_int <- first_code_boot_distn %>%
  summarize(
    lower = quantile(first_code_child_rate, 0.025),
    upper = quantile(first_code_child_rate, 0.975)
  )

# A tibble: 1 x 2
  lower upper
  <dbl> <dbl>
1 0.369 0.407

Typy chyb

	Skutečně nespáchal	Skutečně spáchal
Rozsudek nevinen	správně	vyváznul bez trestu
Rozsudek vinen	nesprávné odsouzení	správně

	skutečné $H_{0}$	skutečné $H_{A}$
zvoleno $H_{0}$	správně	falešně negativní
zvoleno $H_{A}$	falešně pozitivní	správně

Falešně pozitivní jsou chyby I. druhu; falešně negativní jsou chyby II. druhu.

Možné chyby v našem příkladu

Pokud $p \le \alpha$, zamítáme $H_{0}$:

Mohlo dojít k falešně pozitivní chybě (I. druhu): domníváme se, že datoví vědci začali programovat v dětství častěji, přestože to ve skutečnosti neplatí.

Pokud $ p \gt \alpha$, $H_{0}$ nezamítáme:

Mohlo dojít k falešně negativní chybě (II. druhu): domníváme se, že datoví vědci programovali v dětství stejně často jako softwaroví inženýři, přestože ve skutečnosti programovali v dětství častěji.

Pojďme si procvičit!

Testování hypotéz v R