Statistisk signifikans

Hypotestestning i R

Richie Cotton

Data Evangelist at DataCamp

p-värde – sammanfattning

p-värden kvantifierar bevis för nollhypotesen.
Stort p-värde → kan inte förkasta nollhypotesen.
Litet p-värde → förkasta nollhypotesen.
Var går gränsen?

Signifikansnivå

Signifikansnivån för ett hypotestest ($\alpha$) är tröskelvärdet för "rimligt tvivel".

Vanliga värden på $\alpha$ är 0.1, 0.05 och 0.01.
Om $p \le \alpha$ förkastas $H_{0}$, annars kan vi inte förkasta $H_{0}$.
$\alpha$ ska fastställas innan hypotestestet genomförs.

Beräkna p-värdet

alpha <- 0.05

prop_child_samp <- stack_overflow %>%
  summarize(
    point_estimate = mean(age_first_code_cut == "child")
  ) %>%
  pull(point_estimate)
prop_child_hyp <- 0.35
std_error <- 0.0096028
z_score <- (prop_child_samp - prop_child_hyp) / std_error

p_value <- pnorm(z_score, lower.tail = FALSE)

3.818e-05

p_value <= alpha

TRUE

p_value är mindre än eller lika med alpha, så vi förkastar $H_{0}$ och accepterar $H_{A}$.

Andelen datavetare som började programmera som barn är större än 35%.

Konfidensintervall

För signifikansnivån 0,05 väljer man vanligtvis konfidensintervallet 1 - 0.05 = 0.95.

conf_int <- first_code_boot_distn %>%
  summarize(
    lower = quantile(first_code_child_rate, 0.025),
    upper = quantile(first_code_child_rate, 0.975)
  )

# A tibble: 1 x 2
  lower upper
  <dbl> <dbl>
1 0.369 0.407

Typer av fel

	Faktiskt oskyldig	Faktiskt skyldig
Domslut: oskyldig	korrekt	slapp undan
Domslut: skyldig	felaktig fällande dom	korrekt

	faktisk $H_{0}$	faktisk $H_{A}$
valt $H_{0}$	korrekt	falskt negativt
valt $H_{A}$	falskt positivt	korrekt

Falska positiva är typ I-fel; falska negativa är typ II-fel.

Möjliga fel i vårt exempel

Om $p \le \alpha$ förkastar vi $H_{0}$:

Ett falskt positivt (typ I) fel kan ha inträffat: vi trodde att datavetare hade börjat koda som barn i högre utsträckning, trots att de inte hade det.

Om $ p \gt \alpha$ kan vi inte förkasta $H_{0}$:

Ett falskt negativt (typ II) fel kan ha inträffat: vi trodde att datavetare kodade som barn i samma utsträckning som mjukvaruutvecklare, trots att de i själva verket kodade som barn i högre utsträckning.

Nu kör vi en övning!

Hypotestestning i R