Estimasi performa

Konsep Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Gambaran umum

Dua algoritme estimasi performa:

  • CBPE - tugas klasifikasi
  • DLE - tugas regresi
Konsep Monitoring Machine Learning

CBPE - Cara kerja

  • Mengestimasi confusion matrix

 

  • Memungkinkan perhitungan metrik klasifikasi seperti accuracy, precision, recall

 

  • Menangkap dampak covariate shift pada model

 

Algoritme CBPE diilustrasikan dalam gambar yang menunjukkan cara kerjanya. Model pertama membuat prediksi berdasarkan sebuah contoh, dan prediksi ini digunakan untuk menentukan kelas. Misalnya, jika model memprediksi nilai 0,9 untuk sebuah contoh, maka kelasnya positif karena nilainya di atas 0,5. Jika di bawah 0,5, kelasnya negatif. Proses ini dilakukan untuk semua contoh dalam dataset, dan skor kepercayaan yang dihasilkan diagregasi untuk membentuk confusion matrix estimasi.

Konsep Monitoring Machine Learning

CBPE - Pertimbangan

  • Tidak ada covariate shift di area tak terlihat

 

  • Tidak ada concept drift pada data masuk

 

  • Perlu kalibrasi probabilitas
Konsep Monitoring Machine Learning

DLE - Cara kerja

  • Memprediksi absolute error model

 

  • Menggunakan model anak eksternal

 

  • Memungkinkan perhitungan berbagai metrik regresi seperti MAE, MSE, MSLE

 

  • Menangkap adanya covariate shift pada data input

Gambar menjelaskan proses estimasi performa untuk tugas regresi di produksi. Data analisis awal dimasukkan ke model untuk menghasilkan prediksi. Prediksi ini, bersama data analisis, lalu diberikan ke model anak yang memprediksi error. Dengan prediksi error tersebut, metrik regresi lain dihitung untuk mengevaluasi performa model.

Konsep Monitoring Machine Learning

DLE - Pertimbangan

  • Tidak ada covariate shift di area tak terlihat

 

  • Tidak ada concept drift pada data masuk

 

  • Kompleksitas tambahan
Konsep Monitoring Machine Learning

Ayo berlatih!

Konsep Monitoring Machine Learning

Preparing Video For Download...