p-hodnoty

Testování hypotéz v R

Richie Cotton

Data Evangelist at DataCamp

Trestní řízení

  • Dva možné skutečné stavy.
    1. Obžalovaný spáchal trestný čin.
    2. Obžalovaný trestný čin nespáchal.
  • Dva možné verdikty.
    1. Vinen.
    2. Nevinen.
  • Zpočátku se předpokládá, že obžalovaný je nevinný.
  • Pokud důkazy „bez důvodných pochybností“ ukazují, že obžalovaný spáchal trestný čin, padne verdikt „vinen“, jinak „nevinen“.
Testování hypotéz v R

Věk první zkušenosti s programováním

  • age_first_code_cut klasifikuje, kdy uživatel Stack Overflow začal programovat
    1. “adult” znamená, že začal ve 14 letech nebo později
    2. “child” znamená, že začal před 14. rokem
  • Předchozí výzkum naznačuje, že 35 % vývojářů začalo programovat jako děti
  • Poskytuje náš vzorek důkaz, že u datových vědců je větší podíl těch, kteří začali programovat jako děti?
Testování hypotéz v R

Definice

Hypotéza je tvrzení o neznámém populačním parametru.

Test hypotézy je test dvou konkurenčních hypotéz.

  • Nulová hypotéza ($H_{0}$) je stávající „obhájce titulu“.

  • Alternativní hypotéza ($H_{A}$) je nová „vyzývající“ myšlenka výzkumníka.

Pro náš problém

  • $H_{0}$: Podíl datových vědců, kteří začali programovat jako děti, je stejný jako u softwarových vývojářů (35 %).
  • $H_{A}$: Podíl datových vědců, kteří začali programovat jako děti, je vyšší než 35 %.
1 „Naught“ je britská angličtina pro „nulu“. Z historických důvodů je „H-naught“ mezinárodní konvencí pro vyslovování nulové hypotézy.
Testování hypotéz v R
  • Dva možné skutečné stavy.
    1. Obžalovaný spáchal trestný čin.
    2. Obžalovaný trestný čin nespáchal.
  • Dva možné verdikty.
    1. Vinen.
    2. Nevinen.
  • Zpočátku se předpokládá, že obžalovaný je nevinný.
  • Pokud důkazy „bez důvodných pochybností“ ukazují, že obžalovaný spáchal trestný čin, padne verdikt „vinen“, jinak „nevinen“.
  • Ve skutečnosti platí buď $H_{A}$, nebo $H_{0}$ (ne obě).
  • Test končí buď verdiktem „zamítnout $H_{0}$“, nebo „nezamítnout $H_{0}$“.
  • Zpočátku se předpokládá, že platí nulová hypotéza $H_{0}$.
  • Pokud jsou důkazy ze vzorku „signifikantní“ pro $H_{A}$, zvolte tuto hypotézu, jinak zvolte $H_{0}$.

Hladina významnosti je obdobou „mimo důvodných pochybností“ pro testování hypotéz.

Testování hypotéz v R

Jednostranné a oboustranné testy

Hustotní graf pdf standardního normálního rozdělení se zakrytou prostřední částí, zobrazující pouze chvosty.

Testy hypotéz určují, zda výběrové statistiky leží v chvostech nulového rozdělení.

Test Chvosty
alternativa odlišná od nuly oboustranný
alternativa větší než nula pravostranný
alternativa menší než nula levostranný

$H_{A}$: Podíl datových vědců, kteří začali programovat jako děti, je vyšší než 35 %.

Naše alternativní hypotéza používá „vyšší než“, takže potřebujeme pravostranný test.

Testování hypotéz v R

p-hodnoty

  • Čím vyšší p-hodnota, tím silnější podpora pro $H_{0}$.
  • Čím nižší p-hodnota, tím silnější důkaz proti $H_{0}$.
  • Nízké p-hodnoty znamenají, že statistika leží v chvostu nulového rozdělení (rozdělení statistiky za platnosti nulové hypotézy).
    • „p“ v p-hodnotě znamená pravděpodobnost (probability).
    • U p-hodnot „nízká“ znamená „blízká nule“.
Testování hypotéz v R

Definice p-hodnoty

P-hodnota je

pravděpodobnost pozorování testové statistiky

stejně extrémní nebo extrémnější

než ta pozorovaná v našem původním vzorku,

za předpokladu platnosti nulové hypotézy.

Testování hypotéz v R

Výpočet z-skóre

prop_child_samp <- stack_overflow %>%
  summarize(point_estimate = mean(age_first_code_cut == "child")) %>%
  pull(point_estimate)

0.388

prop_child_hyp <- 0.35

std_error <- 0.0096028

z_score <- (prop_child_samp - prop_child_hyp) / std_error

3.956
Testování hypotéz v R

Výpočet p-hodnoty

  • pnorm() je distribuční funkce normálního rozdělení.
  • Levostranný test → použijte výchozí lower.tail = TRUE.
  • Pravostranný test → nastavte lower.tail = FALSE.

 

p_value <- pnorm(z_score, lower.tail = FALSE)

3.818e-05
Testování hypotéz v R

Pojďme procvičovat!

Testování hypotéz v R

Preparing Video For Download...