Bagaimana menangani concept drift?

Konsep Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Deteksi concept drift

  • Metode berbasis error
    • lacak perubahan error dari waktu ke waktu
    • butuh ground truth

 

  • Latih model baru dengan data training dan produksi
    • perubahan prediksi menandakan concept drift
    • mahal pada use case lanjutan
Konsep Monitoring Machine Learning

Retraining

Gambar menampilkan dua grafik. Grafik pertama menunjukkan akurasi model turun perlahan seiring waktu. Grafik kedua menunjukkan sedikit penurunan akurasi lalu retraining, sehingga akurasi naik. Proses ini diulang berkala.

Kelebihan:

  • menjaga model selaras dengan pola terbaru

 

Kekurangan:

  • biaya naik dan risiko kegagalan
  • tidak memberi akar masalah
Konsep Monitoring Machine Learning

Online learning

Gambar mengilustrasikan siklus online learning: data dari aplikasi dikirim ke database dan segera dipakai untuk memperbarui model. Model yang diperbarui lalu dideploy kembali.

Kelebihan:

  • adaptasi real-time terhadap perubahan kondisi

 

Kekurangan:

  • butuh akses ground truth terus-menerus
  • sensitif terhadap noise
  • perlu penalaan parameter yang cermat
Konsep Monitoring Machine Learning

Solusi lain

 

  • Model khusus untuk event berulang

 

  • Pembobotan pentingnya data baru
    • fokus lebih pada data terbaru memudahkan adaptasi model

 

Gambar menunjukkan linimasa: model reguler dideploy 23 Nov, lalu model Black Friday dideploy 24 Nov. Setelah itu, model reguler dideploy lagi.

Konsep Monitoring Machine Learning

Ayo berlatih!

Konsep Monitoring Machine Learning

Preparing Video For Download...