การทดสอบสมมติฐานและ z-scores

Hypothesis Testing in R

Richie Cotton

Data Evangelist at DataCamp

A/B testing

Electronic Arts (EA) คือบริษัทเกมวิดีโอ
ปี 2013 พวกเขาเปิดตัว SimCity 5
เป้าหมายคือเพิ่มยอดพรีออเดอร์เกม
พวกเขาใช้ A/B testing ทดสอบสถานการณ์โฆษณาต่างๆ
โดยแบ่งผู้ใช้ออกเป็นกลุ่ม ควบคุม และกลุ่ม ทดลอง

อาคาร Electronic Arts

¹ เครดิตภาพ: "Electronic Arts" โดย majaX1 CC BY-NC-SA 2.0

A/B test บนหน้าเว็บไซต์ขายสินค้า

กลุ่มควบคุม

หน้าเว็บ SimCity พร้อมแบนเนอร์ระบุว่า "pre-order and get $20 off your next purchase"

กลุ่มทดลอง

หน้าเว็บ SimCity ที่ไม่มีแบนเนอร์

ผลลัพธ์ของ A/B test

กลุ่มทดลอง (ไม่มีโฆษณา) มียอดซื้อมากกว่ากลุ่มควบคุม (มีโฆษณา) ถึง 43.4%
ความเชื่อที่ว่า "การแสดงโฆษณาจะเพิ่มยอดขาย" นั้นผิดอย่างสิ้นเชิง
ผลลัพธ์นี้ มีนัยสำคัญทางสถิติ หรือเกิดขึ้นโดยบังเอิญ?
ต้องใช้ข้อมูลของ EA เพื่อหาคำตอบ
สามารถใช้เทคนิคจากคอร์ส Sampling in R ร่วมกับคอร์สนี้ได้

Stack Overflow Developer Survey 2020

library(dplyr)
glimpse(stack_overflow)

Rows: 2,261
Columns: 8
$ respondent         <dbl> 36, 47, 69, 125, 147, 152, 166, 170, 187, 196, 221,…
$ age_first_code_cut <chr> "adult", "child", "child", "adult", "adult", "adult…
$ converted_comp     <dbl> 77556, 74970, 594539, 2000000, 37816, 121980, 48644…
$ job_sat            <fct> Slightly satisfied, Very satisfied, Very satisfied,…
$ purple_link        <chr> "Hello, old friend", "Hello, old friend", "Hello, o…
$ age_cat            <chr> "At least 30", "At least 30", "Under 30", "At least…
$ age                <dbl> 34, 53, 25, 41, 28, 30, 28, 26, 43, 23, 24, 35, 37,…
$ hobbyist           <chr> "Yes", "Yes", "Yes", "Yes", "No", "Yes", "Yes", "Ye…

การตั้งสมมติฐานเกี่ยวกับค่าเฉลี่ย

สมมติฐาน:

ค่าตอบแทนรายปีเฉลี่ยของประชากรนักวิทยาศาสตร์ข้อมูลอยู่ที่ $110,000

ค่าประมาณจุด (ค่าสถิติจากตัวอย่าง):

mean_comp_samp <- mean(stack_overflow$converted_comp)

mean_comp_samp <- stack_overflow %>% 
  summarize(mean_compensation = mean(converted_comp)) %>% 
  pull(mean_compensation)

119574.7

การสร้าง bootstrap distribution

# Step 3. Repeat steps 1 & 2 many times
so_boot_distn <- replicate(
  n = 5000,
  expr = {

    # Step 1. Resample
    stack_overflow %>%
      slice_sample(prop = 1, replace = TRUE) %>%

      # Step 2. Calculate point estimate
      summarize(mean_compensation = mean(converted_comp)) %>% 
      pull(mean_compensation)

}
)

¹ Bootstrap distributions สอนในบทที่ 4 ของคอร์ส Sampling in R

การแสดงภาพ bootstrap distribution

tibble(resample_mean = so_boot_distn) %>%
  ggplot(aes(resample_mean)) +
  geom_histogram(binwidth = 1000)

ฮิสโทแกรมของ bootstrap distribution — มีรูปร่างเป็นระฆัง ช่วงค่าอยู่ระหว่างประมาณ 110,000 ถึง 140,000

ความคลาดเคลื่อนมาตรฐาน (Standard error)

std_error <- sd(so_boot_distn)

5511.674

z-scores

$\text{standardized value} = \dfrac{\text{value} - \text{mean}}{\text{standard deviation}}$

$z = \dfrac{\text{sample stat} - \text{hypoth. param. value}}{\text{standard error}}$

$z = \dfrac{\$119,574.7 - \$110,000}{\$5511.67} = 1.737$

mean_comp_samp

119574.7

mean_comp_hyp <- 110000

std_error

5511.674

z_score <- (mean_comp_samp - mean_comp_hyp) / std_error

1.737171

การทดสอบสมมติฐาน

1.737171 ถือว่าสูงหรือต่ำ?
นี่คือเป้าหมายของคอร์สนี้!

การใช้งานการทดสอบสมมติฐาน:

ตรวจสอบว่าค่าสถิติจากตัวอย่างอยู่ใกล้หรือห่างจากค่าที่คาดไว้ (หรือ "ค่าสมมติฐาน")

การแจกแจงปกติมาตรฐาน (z distribution)

การแจกแจงปกติมาตรฐาน: การแจกแจงปกติที่มีค่าเฉลี่ยเป็นศูนย์และส่วนเบี่ยงเบนมาตรฐานเท่ากับ 1

tibble(x = seq(-4, 4, 0.01)) %>% 
  ggplot(aes(x)) +
  stat_function(fun = dnorm) +
  ylab("PDF(x)")

กราฟความหนาแน่นของ PDF สำหรับการแจกแจงปกติมาตรฐาน

มาฝึกกันเถอะ!

Hypothesis Testing in R