ความมีนัยสำคัญทางสถิติ

Hypothesis Testing in R

Richie Cotton

Data Evangelist at DataCamp

ทบทวน p-value

p-value ใช้วัดหลักฐานสนับสนุนสมมติฐานหลัก
p-value มาก → ไม่ปฏิเสธสมมติฐานหลัก
p-value น้อย → ปฏิเสธสมมติฐานหลัก
จุดตัดอยู่ที่ใด?

ระดับนัยสำคัญ

ระดับนัยสำคัญ ของการทดสอบสมมติฐาน ($\alpha$) คือเกณฑ์ตัดสินว่า "มีหลักฐานเพียงพอ"

ค่า $\alpha$ ที่นิยมใช้ ได้แก่ 0.1, 0.05 และ 0.01
ถ้า $p \le \alpha$ ให้ปฏิเสธ $H_{0}$ มิเช่นนั้นไม่ปฏิเสธ $H_{0}$
ควรกำหนด $\alpha$ ก่อน เริ่มการทดสอบสมมติฐาน

การคำนวณ p-value

alpha <- 0.05

prop_child_samp <- stack_overflow %>%
  summarize(
    point_estimate = mean(age_first_code_cut == "child")
  ) %>%
  pull(point_estimate)
prop_child_hyp <- 0.35
std_error <- 0.0096028
z_score <- (prop_child_samp - prop_child_hyp) / std_error

p_value <- pnorm(z_score, lower.tail = FALSE)

3.818e-05

p_value <= alpha

TRUE

p_value น้อยกว่าหรือเท่ากับ alpha จึงปฏิเสธ $H_{0}$ และยอมรับ $H_{A}$

สัดส่วนของนักวิทยาศาสตร์ข้อมูลที่เริ่มเขียนโปรแกรมตั้งแต่เด็กสูงกว่า 35%

ช่วงความเชื่อมั่น

สำหรับระดับนัยสำคัญ 0.05 นิยมเลือกช่วงความเชื่อมั่นที่ 1 - 0.05 = 0.95

conf_int <- first_code_boot_distn %>%
  summarize(
    lower = quantile(first_code_child_rate, 0.025),
    upper = quantile(first_code_child_rate, 0.975)
  )

# A tibble: 1 x 2
  lower upper
  <dbl> <dbl>
1 0.369 0.407

ประเภทของความผิดพลาด

	ไม่ได้ก่ออาชญากรรมจริง	ก่ออาชญากรรมจริง
คำตัดสิน: ไม่มีความผิด	ถูกต้อง	รอดคดีไปได้
คำตัดสิน: มีความผิด	ตัดสินผิดพลาด	ถูกต้อง

	$H_{0}$ จริง	$H_{A}$ จริง
เลือก $H_{0}$	ถูกต้อง	false negative
เลือก $H_{A}$	false positive	ถูกต้อง

False positive คือความผิดพลาด ประเภท I และ false negative คือความผิดพลาด ประเภท II

ความผิดพลาดที่อาจเกิดขึ้นในตัวอย่างของเรา

ถ้า $p \le \alpha$ เราปฏิเสธ $H_{0}$:

อาจเกิดความผิดพลาด false positive (ประเภท I): เราเข้าใจผิดว่านักวิทยาศาสตร์ข้อมูลเริ่มเขียนโค้ดตั้งแต่เด็กในสัดส่วนที่สูงกว่าความเป็นจริง

ถ้า $p \gt \alpha$ เราไม่ปฏิเสธ $H_{0}$:

อาจเกิดความผิดพลาด false negative (ประเภท II): เราเข้าใจผิดว่านักวิทยาศาสตร์ข้อมูลเริ่มเขียนโค้ดตั้งแต่เด็กในสัดส่วนเดียวกับวิศวกรซอฟต์แวร์ ทั้งที่จริงแล้วสัดส่วนสูงกว่า

มาฝึกกันเถอะ!

Hypothesis Testing in R