Istotność statystyczna

Testowanie hipotez w R

Richie Cotton

Data Evangelist at DataCamp

Podsumowanie wartości p

Wartości p określają siłę dowodów na rzecz hipotezy zerowej.
Duże p → brak podstaw do odrzucenia hipotezy zerowej.
Małe p → odrzucenie hipotezy zerowej.
Gdzie leży punkt odcięcia?

Poziom istotności

Poziom istotności testu hipotez ($\alpha$) to próg dla pojęcia „ponad wszelką wątpliwość".

Typowe wartości $\alpha$: 0.1, 0.05, 0.01.
Jeśli $p \le \alpha$, odrzucamy $H_{0}$; w przeciwnym razie nie odrzucamy $H_{0}$.
$\alpha$ należy ustalić przed przeprowadzeniem testu hipotez.

Obliczanie wartości p

alpha <- 0.05

prop_child_samp <- stack_overflow %>%
  summarize(
    point_estimate = mean(age_first_code_cut == "child")
  ) %>%
  pull(point_estimate)
prop_child_hyp <- 0.35
std_error <- 0.0096028
z_score <- (prop_child_samp - prop_child_hyp) / std_error

p_value <- pnorm(z_score, lower.tail = FALSE)

3.818e-05

p_value <= alpha

TRUE

p_value jest mniejsze lub równe alpha, więc odrzucamy $H_{0}$ i przyjmujemy $H_{A}$.

Odsetek data scientists, którzy zaczęli programować w dzieciństwie, jest większy niż 35%.

Przedziały ufności

Dla poziomu istotności 0.05 zwykle wybiera się przedział ufności 1 - 0.05 = 0.95.

conf_int <- first_code_boot_distn %>%
  summarize(
    lower = quantile(first_code_child_rate, 0.025),
    upper = quantile(first_code_child_rate, 0.975)
  )

# A tibble: 1 x 2
  lower upper
  <dbl> <dbl>
1 0.369 0.407

Rodzaje błędów

	Naprawdę niewinny	Naprawdę winny
Wyrok: niewinny	poprawny	uniknął kary
Wyrok: winny	niesłuszne skazanie	poprawny

	rzeczywiste $H_{0}$	rzeczywiste $H_{A}$
wybrano $H_{0}$	poprawny	fałszywie negatywny
wybrano $H_{A}$	fałszywie pozytywny	poprawny

Fałszywie pozytywne to błędy typu I; fałszywie negatywne to błędy typu II.

Możliwe błędy w naszym przykładzie

Jeśli $p \le \alpha$, odrzucamy $H_{0}$:

Mógł wystąpić błąd fałszywie pozytywny (typ I): uznano, że data scientists częściej zaczęli programować w dzieciństwie, choć w rzeczywistości tak nie było.

Jeśli $ p \gt \alpha$, nie odrzucamy $H_{0}$:

Mógł wystąpić błąd fałszywie negatywny (typ II): uznano, że data scientists programowali w dzieciństwie równie często jak inżynierowie oprogramowania, choć w rzeczywistości robili to częściej.

Czas na ćwiczenia!

Testowanie hipotez w R