Alur kerja monitoring ideal

Konsep Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Alur kerja monitoring

Alur kerja monitoring tradisional

  • Hitung kinerja teknis

  • Alert berdasarkan drift pada data input

  • Menghasilkan banyak false alert

Alur kerja monitoring ideal

  • Monitoring kinerja teknis

    • Hitung dan estimasi kinerja

  • Analisis akar penyebab

    • Mengaitkan drift dengan penurunan kinerja

 

Alur monitoring ideal dimulai dari monitoring kinerja. Jika ada degradasi, lakukan analisis akar penyebab, lalu selesaikan isu.

Konsep Monitoring Machine Learning

Monitoring kinerja

Mencakup:

  • Menghitung kinerja - untuk metrik teknis seperti accuracy

 

  • Mengestimasi kinerja - bila ground truth tidak tersedia

 

  • Mengukur dampak bisnis - monitor KPI utama

  Plot menunjukkan accuracy dari waktu ke waktu, menurun melewati ambang batas.

Plot KPI vs waktu menunjukkan KPI tetap dalam ambang yang ditentukan.

Konsep Monitoring Machine Learning

Analisis akar penyebab

Tujuan penyelidikan:

 

  • Covariate shift - pergeseran distribusi data input

 

  • Concept drift - perubahan relasi antara fitur dan target

Plot menunjukkan batas keputusan antara lingkaran biru dan merah untuk model yang berfungsi.

Plot menunjukkan perpindahan lingkaran biru melewati batas keputusan, menandakan covariate shift.

Plot menggambarkan perubahan batas keputusan, menandakan concept drift.

Konsep Monitoring Machine Learning

Penyelesaian isu

Solusi yang mungkin:

  • Retraining - butuh data dan komputasi tambahan

 

  • Refactor use case - mundur selangkah dan tinjau ulang metode

 

  • Ubah proses hilir - modifikasi proses di sekitar prediksi

  Gambar menunjukkan otak digital (model machine learning) dan tanda plus terhubung ke database, menandakan retraining model dengan lebih banyak data.

Gambar menunjukkan papan gambar dengan pertanyaan tentang rekayasa fitur, fitur yang dipakai, dan regresi linear.

Gambar menunjukkan pekerja yang memverifikasi sesuatu secara manual di komputer.

Konsep Monitoring Machine Learning

Ayo berlatih!

Konsep Monitoring Machine Learning

Preparing Video For Download...