Statistisk signifikans

Hypotestestning i Python

James Chapman

Curriculum Manager, DataCamp

Repetition: p-värden

p-värden kvantifierar bevis för nollhypotesen
Stort p-värde → kan inte förkasta nollhypotesen
Litet p-värde → förkasta nollhypotesen
Var går gränsen?

Signifikansnivå

Signifikansnivån för ett hypotestest ($\alpha$) är gränsvärdet för "bortom rimligt tvivel"

Vanliga värden på $\alpha$ är 0.2, 0.1, 0.05 och 0.01
Om $p \le \alpha$, förkasta $H_{0}$, annars kan vi inte förkasta $H_{0}$
$\alpha$ ska fastställas innan hypotestestet genomförs

Beräkna p-värdet

alpha = 0.05

prop_child_samp = (stack_overflow['age_first_code_cut'] == "child").mean()
prop_child_hyp = 0.35

std_error = np.std(first_code_boot_distn, ddof=1)

z_score = (prop_child_samp - prop_child_hyp) / std_error

p_value = 1 - norm.cdf(z_score, loc=0, scale=1)

3.1471479512323874e-05

Ta ett beslut

alpha = 0.05

print(p_value)

3.1471479512323874e-05

p_value <= alpha

True

Förkasta $H_{0}$ till förmån för $H_{A}$

Konfidensintervall

För en signifikansnivå $\alpha$ väljer man ofta ett konfidensintervall på nivån 1 - $\alpha$

$\alpha=0.05$ → $95\%$ konfidensintervall

import numpy as np
lower = np.quantile(first_code_boot_distn, 0.025)
upper = np.quantile(first_code_boot_distn, 0.975)
print((lower, upper))

(0.37063246351172047, 0.41132242370632466)

Typer av fel

	Begick inte brott	Begick brott
Utslag: ej skyldig	korrekt	friades felaktigt
Utslag: skyldig	felaktig fällning	korrekt

	faktisk $H_{0}$	faktisk $H_{A}$
valt $H_{0}$	korrekt	falskt negativt
valt $H_{A}$	falskt positivt	korrekt

Falska positiva är Typ I-fel; falska negativa är Typ II-fel.

Möjliga fel i vårt exempel

Om $p \le \alpha$ förkastar vi $H_{0}$:

Ett falskt positivt (Typ I) fel: datavetare började inte koda som barn i högre utsträckning

Om $ p \gt \alpha$ kan vi inte förkasta $H_{0}$:

Ett falskt negativt (Typ II) fel: datavetare började koda som barn i högre utsträckning

Nu kör vi en övning!

Hypotestestning i Python