Melacak kinerja

Mendemistifikasi Decision Science

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Kinerja model

Model berbeda, kekuatan berbeda

  • Satu model lebih baik mengidentifikasi siapa yang berisiko gagal bayar
  • Lainnya lebih baik memperkirakan besarnya gagal bayar

  timbangan.png

Model mana yang lebih baik? Tergantung tujuan

  • Apakah Anda lebih peduli menandai pelanggan berisiko
  • Atau memperkirakan dampak finansial gagal bayar
Mendemistifikasi Decision Science

Metrik model

Metrik berbeda menyorot aspek kinerja yang berbeda

Metrik evaluasi umum:

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  dasbor.png

Mendemistifikasi Decision Science

Accuracy

 

Gambaran umum ketepatan

  • Mengukur persentase seluruh prediksi yang benar
  • Cocok saat kelas seimbang, seperti spam vs not spam

akurasi.png

Precision

 

Berapa banyak positif yang diprediksi benar-benar tepat

  • Penting saat false positive mahal
  • Precision rendah = banyak transaksi sah ditandai fraudulent

presisi.png

Mendemistifikasi Decision Science

Lebih banyak metrik

Recall: tangkap true positive

  • Mengukur seberapa baik model menemukan positif sebenarnya
  • Penting saat melewatkan kasus berbiaya tinggi (mis. penipuan, penyakit)

Area under the curve (AUC): ukuran pemisahan kelas

  • Menilai seberapa baik model membedakan kelas
  • Tidak terikat pada ambang tertentu

Metrik regresi: mengukur galat prediksi

  • Mean Absolute Error (MAE): rata-rata besar galat prediksi
  • Mean Percentage Error (MPE): seberapa meleset prediksi dalam persen

 

Lebih banyak metrik

Mendemistifikasi Decision Science

Dasbor itu krusial

Dasbor mengubah analisis kompleks menjadi wawasan jelas dan dapat ditindaklanjuti, memudahkan pengambilan keputusan.

 

dasbor2.gif

Mendemistifikasi Decision Science

Prinsip dasar

 

Kenali audiens Anda

  • Eksekutif ingin ringkasan
  • Analis perlu detail

 

Sorot metrik kunci

  • Tampilkan yang paling penting saja
  • Hindari kekacauan dan kebisingan

 

Gunakan visual yang jelas

  • Barchart untuk perbandingan, line chart untuk tren waktu
  • Visual sederhana sering paling efektif

  jelas.png

Mendemistifikasi Decision Science

Prinsip lanjutan

Lacak perubahan dari waktu ke waktu

  • Pantau kinerja model dan drift fitur
  • Tren memberi konteks pada metrik

Tambahkan konteks, bukan sekadar angka

  • Gunakan anotasi singkat untuk menjelaskan perubahan kunci
  • Bantu pengguna memahami apa dan mengapa

Uji dan iterasikan

  • Bagikan lebih awal dan kumpulkan masukan
  • Perbarui dasbor saat model dan kebutuhan berkembang

iterasi.png

Mendemistifikasi Decision Science

Ayo berlatih!

Mendemistifikasi Decision Science

Preparing Video For Download...