Quyền lực thống kê và cỡ mẫu

A/B Testing bằng R

Lauryn Burleigh

Data Scientist

Định nghĩa quyền lực

Xác suất bác bỏ giả thuyết không khi giả thuyết không là sai
Không mắc lỗi loại II (không bác bỏ giả thuyết không)
Lý tưởng: lỗi loại II nhỏ, quyền lực lớn

Phân phối giả thuyết không ở trái và giả thuyết thay thế ở phải, chồng lấp một phần. Một đường ngang đứt đoạn chỉ p-value nơi hai phân phối chồng lấp. Bên trái đường dưới giả thuyết thay thế là lỗi loại II, bên phải là quyền lực.

Lợi ích của quyền lực

Độ hữu ích của kiểm định

Bác bỏ giả thuyết không khi cần bác bỏ

Quyền lực

Xác định cỡ mẫu cần thiết
Kiểm tra độ tin cậy của kết quả

Cỡ mẫu

Kích thước hiệu ứng ước tính
Quyền lực ước tính (thường 0,8)
Alpha (thường 0,05)

Các phân phối chồng lấp với nhiều cỡ mẫu, trong đó cỡ mẫu nhỏ có phân phối hẹp hơn cỡ mẫu lớn cho giá trị t trên trục x. Đường của cỡ mẫu nhỏ cho thấy cỡ mẫu nhỏ cần giá trị t lớn hơn để đạt ý nghĩa.

library(pwr)
pwr.t.test(d = .8, power = 0.8,

           sig.level = 0.05,

           type = "one.sample",

           alternative = "two.sided")

     One-sample t test power calculation 
              n = 14.30276
              d = 0.8
      sig.level = 0.05
          power = 0.8
    alternative = two.sided

Kích thước hiệu ứng

Kích thước hiệu ứng kỳ vọng
Trung bình nhóm đối chứng − trung bình nhóm thử nghiệm

Trước khi phân tích

Xác định kích thước hiệu ứng bằng:

Thông tin nền
Dữ liệu sơ bộ

Sau khi phân tích

Xác định kích thước hiệu ứng bằng:

Toàn bộ dữ liệu

Phân tích quyền lực của kiểm định

Quyền lực cao = xác suất cao bác bỏ H0 khi H0 sai

Cần 3 yếu tố:

Cỡ mẫu
Kích thước hiệu ứng
Alpha

library(pwr)
pwr.t.test(n = 20, sig.level = 0.045, 
           d = .81, type = "one.sample")

     One-sample t test power calculation 
              n = 20
              d = 0.81
      sig.level = 0.045
          power = 0.9223189
    alternative = two.sided

Phân phối pizza

Phân phối tương tự

Không khác biệt có ý nghĩa

Hai biểu đồ tần suất, Pepperoni màu hồng và Cheese màu xanh, trục x là các giá trị nhận được, trục y là số lần xuất hiện, với các đỉnh gần nhau trên trục x.

Phân phối khác nhau

Khả năng có khác biệt có ý nghĩa

Hai biểu đồ tần suất, Pepperoni màu hồng và Cheese màu xanh, trục x là các giá trị nhận được, trục y là số lần xuất hiện, với các đỉnh tách xa nhau trên trục x.

Giả thuyết về pizza

Phân phối giả thuyết không màu hồng với chênh lệch trung bình 0 và giả thuyết thay thế màu xanh với chênh lệch trung bình 3,5; giá trị tới hạn biểu diễn bằng đường dọc tại 1,64.

Tương tự: bên trái giá trị bác bỏ
Khác: bên phải giá trị bác bỏ

library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)

Quyền lực về pizza

Tương tự: bên trái giá trị bác bỏ
Khác: bên phải giá trị bác bỏ
Quyền lực: xác suất không kết luận sai là phân phối topping giống nhau (lỗi loại II)

library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)

Ayo berlatih!

A/B Testing bằng R