Pengujian A/B

Memahami Ilmu Data

Lis Sulmont

Curriculum Manager, DataCamp

Alur kerja ilmu data

Alur kerja ilmu data

Memahami Ilmu Data

Apa arti eksperimen dalam ilmu data?

Eksperimen membantu mendorong pengambilan keputusan dan menarik kesimpulan

  1. Buat pertanyaan
  2. Buat hipotesis
  3. Kumpulkan data
  4. Menguji hipotesis dengan uji statistik
  5. Interpretasikan hasil
Memahami Ilmu Data

Studi kasus: judul posting blog mana yang lebih baik?

Buat pertanyaan: apakah judul A atau judul B menghasilkan lebih banyak klik?

Buat hipotesis: Judul blog A dan judul blog B menghasilkan jumlah klik yang sama.

Kumpulkan data:

  • 50% pengguna akan melihat judul blog A
  • 50% pengguna akan melihat judul blog B
  • Pantau rasio klik-tayang hingga ukuran sampel tercapai

a-b-test-headlines.jpg

Memahami Ilmu Data

Studi kasus: judul posting blog mana yang lebih baik?

Menguji hipotesis dengan uji statistik: Apakah perbedaan tingkat klik judul signifikan?

Interpretasikan hasil:

  • Pilih judul
  • Atau ajukan lebih banyak pertanyaan dan rancang eksperimen lain!

a-b-test-headlines.jpg

Memahami Ilmu Data

Apa A/B Testing itu?

AKA Champion/Challenger Testing

a-b-test.png

Memahami Ilmu Data

Tinjauan Terminologi

  • Ukuran sampel: jumlah titik data yang digunakan
  • Signifikansi statistik: hasil kemungkinan besar bukan karena kebetulan
    • Berdasarkan asumsi model statistik
    • Gunakan uji statistik untuk menghitung ini:
      • misalnya, uji-t, uji-Z, ANOVA, uji Chi-square
Memahami Ilmu Data

Langkah-langkah Pengujian A/B

  • Memilih metrik untuk dipantau
  • Menghitung ukuran sampel
  • Menjalankan eksperimen
  • Memeriksa signifikansi
Memahami Ilmu Data

Pilih metrik untuk dipantau: rasio klik-tayang

klik-pada-tautan.jpg

Memahami Ilmu Data

sample-size-percent.jpg

  • Metrik dasar untuk mengukur perubahan apa pun
    • Seberapa sering orang umumnya mengeklik tautan ke blog kami
    • Tingkat klik biasanya kecil (<3%)
Memahami Ilmu Data

sample-size-sensitivity.jpg

Ukuran sampel yang lebih besar memungkinkan kita dapat mendeteksi perubahan yang lebih kecil

Memahami Ilmu Data

Jalankan eksperimen Anda

run-experiment.jpg

Memahami Ilmu Data

Memeriksa signifikansi

significance.jpg

Memahami Ilmu Data

Bagaimana jika hasilnya tidak signifikan?

  • Perbedaannya lebih kecil daripada ambang batas yang kita pilih
  • Menjalankan pengujian kita lebih lama tidak akan membantu
  • Masih mungkin ada perbedaan, ini hanya hal kecil dan tidak signifikan bagi kita
Memahami Ilmu Data

Ayo berlatih!

Memahami Ilmu Data

Preparing Video For Download...