Istotność statystyczna

Testowanie hipotez w Pythonie

James Chapman

Curriculum Manager, DataCamp

Podsumowanie wartości p

Wartości p kwantyfikują dowody na rzecz hipotezy zerowej
Duża wartość p → brak podstaw do odrzucenia hipotezy zerowej
Mała wartość p → odrzucenie hipotezy zerowej
Gdzie leży punkt odcięcia?

Poziom istotności

Poziom istotności testu hipotez ($\alpha$) to próg dla pojęcia „bez uzasadnionych wątpliwości"

Typowe wartości $\alpha$: 0.2, 0.1, 0.05, 0.01
Jeśli $p \le \alpha$, odrzucamy $H_{0}$; w przeciwnym razie nie odrzucamy $H_{0}$
$\alpha$ należy ustalić przed przeprowadzeniem testu hipotez

Obliczanie wartości p

alpha = 0.05

prop_child_samp = (stack_overflow['age_first_code_cut'] == "child").mean()
prop_child_hyp = 0.35

std_error = np.std(first_code_boot_distn, ddof=1)

z_score = (prop_child_samp - prop_child_hyp) / std_error

p_value = 1 - norm.cdf(z_score, loc=0, scale=1)

3.1471479512323874e-05

Podejmowanie decyzji

alpha = 0.05

print(p_value)

3.1471479512323874e-05

p_value <= alpha

True

Odrzucamy $H_{0}$ na rzecz $H_{A}$

Przedziały ufności

Dla poziomu istotności $\alpha$ zazwyczaj wybiera się przedział ufności na poziomie 1 - $\alpha$

$\alpha=0.05$ → $95\%$ przedział ufności

import numpy as np
lower = np.quantile(first_code_boot_distn, 0.025)
upper = np.quantile(first_code_boot_distn, 0.975)
print((lower, upper))

(0.37063246351172047, 0.41132242370632466)

Typy błędów

	Naprawdę niewinny	Naprawdę winny
Wyrok: niewinny	poprawnie	uniknął kary
Wyrok: winny	niesłuszne skazanie	poprawnie

	rzeczywiste $H_{0}$	rzeczywiste $H_{A}$
wybrane $H_{0}$	poprawnie	fałszywy wynik negatywny
wybrane $H_{A}$	fałszywy wynik pozytywny	poprawnie

Fałszywe pozytywy to błędy typu I; fałszywe negatywy to błędy typu II.

Możliwe błędy w naszym przykładzie

Jeśli $p \le \alpha$, odrzucamy $H_{0}$:

Błąd fałszywego pozytywy (typ I): badacze danych nie zaczęli programować w dzieciństwie częściej

Jeśli $ p \gt \alpha$, nie odrzucamy $H_{0}$:

Błąd fałszywego negatywu (typ II): badacze danych zaczęli programować w dzieciństwie częściej

Czas na ćwiczenia!

Testowanie hipotez w Pythonie