Pengujian A/B

Memahami Ilmu Data

Lis Sulmont

Curriculum Manager, DataCamp

Alur kerja ilmu data

Alur kerja ilmu data

Memahami Ilmu Data

Apa itu eksperimen dalam ilmu data?

Eksperimen membantu dalam pengambilan keputusan dan menarik kesimpulan.

  1. Membuat pertanyaan
  2. Membuat hipotesis
  3. Mengumpulkan data
  4. Uji hipotesis dengan uji statistik.
  5. Menginterpretasikan hasil
Memahami Ilmu Data

Studi kasus: mana judul postingan blog yang lebih baik?

Membuat pertanyaan: Apakah judul blog A atau judul blog B menghasilkan lebih banyak klik?

Membuat hipotesis: Judul blog A dan judul blog B menghasilkan jumlah klik yang sama.

Mengumpulkan data:

  • Sebanyak 50% pengguna akan melihat judul blog A
  • Sebanyak 50% pengguna akan melihat judul blog B
  • Melacak rasio klik-tayang hingga ukuran sampel tercapai.

a-b-test-headlines.jpg

Memahami Ilmu Data

Studi kasus: mana judul postingan blog yang lebih baik?

Uji hipotesis dengan uji statistik: Apakah perbedaan rasio klik-tayang pada judul-judul tersebut signifikan?

menginterpretasikan hasil:

  • Pilih judul
  • Mengajukan lebih banyak pertanyaan dan rancang eksperimen lain!

a-b-test-headlines.jpg

Memahami Ilmu Data

Apa itu Pengujian A/B?

Pengujian Juara/Penantang AKA

a-b-test.png

Memahami Ilmu Data

Peninjauan Istilah

  • Ukuran sampel: jumlah titik data yang digunakan
  • Signifikansi statistik: hasil tersebut kemungkinan besar tidak disebabkan oleh kebetulan.
    • Berdasarkan asumsi model statistik
    • Gunakan uji statistik untuk menghitung ini:
      • Misalnya, uji t, uji Z, ANOVA, uji Chi-kuadrat
Memahami Ilmu Data

Langkah-langkah Pengujian A/B

  • Memilih metrik untuk dilacak
  • Menghitung ukuran sampel
  • Melakukan eksperimen
  • Memeriksa signifikansi
Memahami Ilmu Data

Pilih metrik yang akan dilacak: rasio Klik tayang

click-on-link.jpg

Memahami Ilmu Data

sample-size-percent.jpg

  • Metrik dasar untuk mengukur setiap perubahan
    • Seberapa sering orang biasanya mengklik tautan ke blog kami?
  • Jika rasio tersebut jauh lebih besar atau lebih kecil dari 50%, kita memerlukan ukuran sampel yang besar.
    • Rasio klik biasanya kecil (<3%)
Memahami Ilmu Data

sample-size-sensitivity.jpg

Ukuran sampel yang lebih besar memungkinkan kita untuk mendeteksi perubahan yang lebih kecil.

Memahami Ilmu Data

Jalankan eksperimen Anda

run-experiment.jpg

Memahami Ilmu Data

Periksa signifikansi

significance.jpg

Memahami Ilmu Data

Bagaimana jika hasilnya tidak signifikan?

  • Perbedaan tersebut lebih kecil dari ambang batas yang kami pilih.
  • Menjalankan tes kami dengan waktu lebih lama tidak akan membantu.
  • Mungkin masih ada perbedaan, tapi itu hanya kecil dan tidak berarti bagi kita.
Memahami Ilmu Data

Ayo berlatih!

Memahami Ilmu Data

Preparing Video For Download...