Mode penyajian

Penyebaran dan Siklus Hidup MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Serving dan mode serving

• Layanan prediksi == Model serving
• Implementasi jenis serving tertentu == Mode serving

 

Pilih dengan cermat!

Prediksi batch: tetap sederhana

• Prediksi batch paling sederhana
• Jika use case memungkinkan, pilih ini
• Cocok: pembuatan ramalan penjualan bulanan

Latensi yang dapat diterima

Apa yang dapat diterima?

• < 1 jam?
• < 1 menit?
• < 1 detik?
• < 1 milidetik?

Prediksi near real-time alias stream processing

Latensi yang dapat diterima ~= X menit

Juga disebut stream processing (permintaan dan respons membentuk "aliran data")

Prediksi real-time

Latensi yang dapat diterima < 1 dtk

Contoh:

• Deteksi penipuan kartu kredit
• Prediksi terlambat hampir tidak berguna

Saat latensi jadi prioritas

• Model lebih lemah tapi lebih cepat bisa lebih bernilai daripada yang lebih kuat tapi lebih lambat
• Model ditempatkan di perangkat pengguna akhir untuk menurunkan latensi => "edge deployment"
  • Aplikasi ponsel berkemampuan ML:
    • aplikasi navigasi
    • buka kunci dengan pengenalan wajah
    • filter gambar

Ayo berlatih!

Penyebaran dan Siklus Hidup MLOps