Statistische significantie
Hypothesis Testing in R
Richie Cotton
Data Evangelist at DataCamp
Herhaling p-waarde
- p-waarden kwantificeren bewijs voor de nulhypothese.
- Grote p-waarde → nulhypothese niet verwerpen.
- Kleine p-waarde → nulhypothese verwerpen.
- Waar ligt de grens?
Significantieniveau
Het significantieniveau van een hypothesetoets ($\alpha$) is de drempel voor "buiten redelijke twijfel".
- Veelgebruikte $\alpha$-waarden:
0.1,0.05en0.01. - Als $p \le \alpha$, verwerp $H_{0}$; anders verwerp $H_{0}$ niet.
- Stel $\alpha$ vooraf in, vóór de toets.
De p-waarde berekenen
alpha <- 0.05
prop_child_samp <- stack_overflow %>%
summarize(
point_estimate = mean(age_first_code_cut == "child")
) %>%
pull(point_estimate)
prop_child_hyp <- 0.35
std_error <- 0.0096028
z_score <- (prop_child_samp - prop_child_hyp) / std_error
p_value <- pnorm(z_score, lower.tail = FALSE)
3.818e-05
p_value <= alpha
TRUE
p_value is kleiner dan of gelijk aan alpha, dus verwerp $H_{0}$ en accepteer $H_{A}$.
Het aandeel data scientists dat als kind begon met programmeren is groter dan 35%.
Betrouwbaarheidsintervallen
Voor een significantieniveau van 0,05 kies je vaak een betrouwbaarheidsinterval van 1 - 0.05 = 0.95.
conf_int <- first_code_boot_distn %>%
summarize(
lower = quantile(first_code_child_rate, 0.025),
upper = quantile(first_code_child_rate, 0.975)
)
# A tibble: 1 x 2
lower upper
<dbl> <dbl>
1 0.369 0.407
Soorten fouten
| Werkte misdaad niet echt | Pleegde misdaad echt | |
|---|---|---|
| Vonnis onschuldig | correct | ze kwamen ermee weg |
| Vonnis schuldig | onterechte veroordeling | correct |
| werkelijke $H_{0}$ | werkelijke $H_{A}$ | |
|---|---|---|
| gekozen $H_{0}$ | correct | vals-negatief |
| gekozen $H_{A}$ | vals-positief | correct |
Vals-positieven zijn Type I-fouten; vals-negatieven zijn Type II-fouten.
Mogelijke fouten in ons voorbeeld
Als $p \le \alpha$, verwerpen we $H_{0}$:
- Er kan een vals-positieve (Type I) fout zijn opgetreden: we dachten dat data scientists vaker als kind begonnen te coderen, terwijl dat niet zo is.
Als $ p \gt \alpha$, verwerpen we $H_{0}$ niet:
- Er kan een vals-negatieve (Type II) fout zijn opgetreden: we dachten dat data scientists even vaak als software-ingenieurs als kind codeerden, terwijl ze in werkelijkheid vaker als kind codeerden.
Laten we oefenen!
Hypothesis Testing in R
