Tantangan memantau model ML

Konsep Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Komponen proyek machine learning

Diagram Venn dengan tiga lingkaran mewakili rekayasa perangkat lunak, analitik data, dan pembelajaran mesin; irisan ketiganya mewakili ilmu data.

Konsep Monitoring Machine Learning

Model gagal membuat prediksi

Masalah yang mungkin terjadi:

  • Hambatan bahasa – menggabungkan berbagai bahasa pemrograman dengan kode “lem”

 

  • Pemeliharaan kode – ketidakcocokan dependensi yang diperbarui

 

  • Skalabilitas – infrastruktur tidak cukup tangguh untuk lebih banyak pengguna
Konsep Monitoring Machine Learning

Prediksi model gagal

Covariate shift

  • Perubahan distribusi input
  • Dapat dideteksi dengan metode statistik
  • Tidak semua drift memengaruhi kinerja

 

Plot distribusi densitas yang membandingkan usia pelanggan pada set pelatihan dan produksi menunjukkan set pelatihan condong ke usia lebih rendah. Set produksi serupa tetapi dengan lonjakan pada usia lebih tinggi.

Concept drift

  • Perubahan hubungan antara data input dan target
  • Sulit dideteksi
  • Hampir selalu berdampak pada nilai bisnis model

Ada hubungan antara customer lifetime value (CLV) dan fitur input Age pada set pelatihan dan produksi. Namun hubungan berubah di produksi, menandakan concept drift.

Konsep Monitoring Machine Learning

Ketersediaan ground truth

Gambar sebuah toko pakaian.

Konsep Monitoring Machine Learning

Ayo berlatih!

Konsep Monitoring Machine Learning

Preparing Video For Download...