Tantangan memantau model ML

Konsep Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Komponen proyek machine learning

Diagram Venn dengan tiga lingkaran mewakili rekayasa perangkat lunak, analitik data, dan pembelajaran mesin; irisan ketiganya mewakili ilmu data.

Model gagal membuat prediksi

Masalah yang mungkin terjadi:

Hambatan bahasa – menggabungkan berbagai bahasa pemrograman dengan kode “lem”

Pemeliharaan kode – ketidakcocokan dependensi yang diperbarui

Skalabilitas – infrastruktur tidak cukup tangguh untuk lebih banyak pengguna

Prediksi model gagal

Covariate shift

Perubahan distribusi input
Dapat dideteksi dengan metode statistik
Tidak semua drift memengaruhi kinerja

Plot distribusi densitas yang membandingkan usia pelanggan pada set pelatihan dan produksi menunjukkan set pelatihan condong ke usia lebih rendah. Set produksi serupa tetapi dengan lonjakan pada usia lebih tinggi.

Concept drift

Perubahan hubungan antara data input dan target
Sulit dideteksi
Hampir selalu berdampak pada nilai bisnis model

Ada hubungan antara customer lifetime value (CLV) dan fitur input Age pada set pelatihan dan produksi. Namun hubungan berubah di produksi, menandakan concept drift.

Ketersediaan ground truth

Gambar sebuah toko pakaian.

Ayo berlatih!

Konsep Monitoring Machine Learning