Power dan ukuran sampel

Pengujian A/B di R

Lauryn Burleigh

Data Scientist

Definisi power

  • Probabilitas menolak hipotesis nol saat salah
  • Tidak melakukan galat Tipe II (gagal menolak hipotesis nol)
  • Ideal: galat Tipe II kecil, power besar

Distribusi hipotesis nol berbentuk normal di kiri dan distribusi hipotesis alternatif di kanan, saling tumpang tindih sebagian. Garis putus-putus horizontal menandai p-value saat distribusi tumpang tindih. Di kiri garis pada hipotesis alternatif menunjukkan galat Tipe II dan di kanan garis pada hipotesis alternatif menunjukkan power.

Pengujian A/B di R

Manfaat power

Kegunaan uji

  • Menolak hipotesis nol saat seharusnya ditolak

Distribusi hipotesis nol berbentuk normal di kiri dan distribusi hipotesis alternatif di kanan, saling tumpang tindih sebagian. Garis putus-putus horizontal menandai p-value saat distribusi tumpang tindih. Di kiri garis pada hipotesis alternatif menunjukkan galat Tipe II dan di kanan garis pada hipotesis alternatif menunjukkan power.

Power

  • Menentukan ukuran sampel yang dibutuhkan
  • Mengecek apakah hasil dapat dipercaya
Pengujian A/B di R

Ukuran sampel

  • Ukuran efek estimasi
  • Power estimasi (umumnya 0,8)
  • Alpha (umumnya 0,05)

Distribusi yang tumpang tindih untuk berbagai ukuran sampel, di mana ukuran sampel lebih kecil memiliki distribusi lebih sempit daripada ukuran sampel lebih besar untuk nilai t pada sumbu x. Garis ukuran sampel kecil menunjukkan ukuran sampel kecil memerlukan nilai t lebih besar untuk mencapai signifikansi.

library(pwr)
pwr.t.test(d = .8, power = 0.8,

           sig.level = 0.05,

           type = "one.sample",

           alternative = "two.sided")

     One-sample t test power calculation 
              n = 14.30276
              d = 0.8
      sig.level = 0.05
          power = 0.8
    alternative = two.sided
Pengujian A/B di R

Ukuran efek

  • Ukuran efek yang diharapkan
  • Rata-rata grup kontrol − rata-rata grup eksperimen

Distribusi hipotesis nol berbentuk normal di kiri dan distribusi hipotesis alternatif di kanan, saling tumpang tindih sebagian. Garis putus-putus horizontal menandai p-value saat distribusi tumpang tindih. Di kiri garis pada hipotesis alternatif menunjukkan galat Tipe II dan di kanan garis pada hipotesis alternatif menunjukkan power. Bilah merah menunjukkan ukuran efek sebagai selisih puncak kedua distribusi.

Sebelum analisis

Temukan ukuran efek dari:

  • Informasi latar belakang
  • Data pendahuluan

 

Setelah analisis

Temukan ukuran efek dari:

  • Seluruh data
Pengujian A/B di R

Analisis power uji

Power lebih tinggi = probabilitas lebih tinggi menolak H0 dengan benar

Tiga hal diperlukan:

  • Ukuran sampel
  • Ukuran efek
  • Alpha
library(pwr)
pwr.t.test(n = 20, sig.level = 0.045, 
           d = .81, type = "one.sample")

     One-sample t test power calculation 
              n = 20
              d = 0.81
      sig.level = 0.045
          power = 0.9223189
    alternative = two.sided
Pengujian A/B di R

Distribusi pizza

Distribusi serupa

Tidak ada perbedaan signifikan

Dua histogram, Pepperoni berwarna merah muda dan Cheese berwarna biru, dengan nilai yang diterima pada sumbu x dan frekuensi pada sumbu y, puncaknya berdekatan pada sumbu x.

Distribusi berbeda

Kemungkinan ada perbedaan signifikan

Dua histogram, Pepperoni berwarna merah muda dan Cheese berwarna biru, dengan nilai yang diterima pada sumbu x dan frekuensi pada sumbu y, puncaknya terpisah pada sumbu x.

Pengujian A/B di R

Hipotesis pizza

Distribusi hipotesis nol berwarna merah muda dengan selisih rata-rata 0 dan distribusi hipotesis alternatif berwarna biru dengan selisih rata-rata 3,5 serta nilai kritis penolakan ditandai garis vertikal di 1,64.

  • Serupa: kiri nilai penolakan
  • Berbeda: kanan nilai penolakan
library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)
Pengujian A/B di R

Power pizza

Distribusi hipotesis nol berwarna merah muda dengan selisih rata-rata 0 dan distribusi hipotesis alternatif berwarna biru dengan selisih rata-rata 3,5 serta nilai kritis penolakan ditandai garis vertikal di 1,64.

  • Serupa: kiri nilai penolakan
  • Berbeda: kanan nilai penolakan
  • Power: probabilitas tidak keliru menyimpulkan distribusi topping sama (galat Tipe II)
library(ggplot2)
ggplot(HypDists, 
       aes(x = Time, fill = Hypothesis)) + 
  geom_histogram() + 
  xlab("Difference Between Groups") + 
  geom_vline(xintercept = 1.64)
Pengujian A/B di R

Ayo berlatih!

Pengujian A/B di R

Preparing Video For Download...