Statistical significance

R में Hypothesis Testing

Richie Cotton

Data Evangelist at DataCamp

p-value पुनरावलोकन

p-values शून्य परिकल्पना के समर्थन के सबूत मापते हैं.
बड़ा p-value → शून्य परिकल्पना अस्वीकृत नहीं.
छोटा p-value → शून्य परिकल्पना अस्वीकार.
कटऑफ कहाँ हो?

Significance level

किसी परिकल्पना परीक्षण का significance level ($\alpha$) "बियॉन्ड ए रीजनिबल डाउट" का थ्रेशोल्ड है.

$\alpha$ के सामान्य मान 0.1, 0.05, और 0.01 हैं.
यदि $p \le \alpha$, तो $H_{0}$ अस्वीकार करें, अन्यथा $H_{0}$ अस्वीकृत न करें.
$\alpha$ परीक्षण से पहले निर्धारित होना चाहिए.

p-value की गणना

alpha <- 0.05

prop_child_samp <- stack_overflow %>%
  summarize(
    point_estimate = mean(age_first_code_cut == "child")
  ) %>%
  pull(point_estimate)
prop_child_hyp <- 0.35
std_error <- 0.0096028
z_score <- (prop_child_samp - prop_child_hyp) / std_error

p_value <- pnorm(z_score, lower.tail = FALSE)

3.818e-05

p_value <= alpha

TRUE

p_value alpha से कम या बराबर है, इसलिए $H_{0}$ अस्वीकार करें और $H_{A}$ स्वीकार करें.

डेटा वैज्ञानिकों का बच्चों के रूप में प्रोग्रामिंग शुरू करने का अनुपात 35% से अधिक है.

Confidence intervals

Significance level 0.05 के लिए, आमतौर पर 1 - 0.05 = 0.95 का confidence interval चुना जाता है.

conf_int <- first_code_boot_distn %>%
  summarize(
    lower = quantile(first_code_child_rate, 0.025),
    upper = quantile(first_code_child_rate, 0.975)
  )

# A tibble: 1 x 2
  lower upper
  <dbl> <dbl>
1 0.369 0.407

त्रुटियों के प्रकार

	सच में अपराध नहीं किया	सच में अपराध किया
निर्णय निर्दोष	सही	बच निकले
निर्णय दोषी	गलत सजा	सही

	वास्तविक $H_{0}$	वास्तविक $H_{A}$
चुना $H_{0}$	सही	false negative
चुना $H_{A}$	false positive	सही

False positive को Type I error कहते हैं; false negative को Type II error.

हमारे उदाहरण में संभावित त्रुटियाँ

यदि $p \le \alpha$, तो हम $H_{0}$ अस्वीकार करते हैं:

एक false positive (Type I) error हो सकता है: हमें लगा कि डेटा वैज्ञानिक बच्चों के रूप में अधिक दर से कोडिंग शुरू करते हैं, जबकि वास्तव में ऐसा नहीं है.

यदि $ p \gt \alpha$, तो हम $H_{0}$ अस्वीकृत नहीं करते:

एक false negative (Type II) error हो सकता है: हमें लगा कि डेटा वैज्ञानिकों की दर सॉफ्टवेयर इंजीनियरों जितनी ही है, जबकि वास्तव में वे बच्चों के रूप में अधिक दर से कोडिंग करते हैं.

अभ्यास करते हैं!

R में Hypothesis Testing