Memantau layanan ML

Penyebaran dan Siklus Hidup MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Menjaga kualitas

  • Pelanggan berbayar == ekspektasi kualitas
  • Penjaminan mutu dimulai dari kendali mutu
  • Pemantauan
Penyebaran dan Siklus Hidup MLOps

Indikator kinerja

Indikator kesehatan dasar

  • Layanan aktif berjalan?
  • Jumlah permintaan per waktu?
  • Distribusi latensi?

 

Metrik kualitas utama

  • Kinerja prediktif

Bagaimana model ML memburuk?

Penyebaran dan Siklus Hidup MLOps

klasifier sederhana

Penyebaran dan Siklus Hidup MLOps

batas yang dipelajari

Penyebaran dan Siklus Hidup MLOps

model terlatih

Penyebaran dan Siklus Hidup MLOps

dunia berubah

Penyebaran dan Siklus Hidup MLOps

perubahan 2

Penyebaran dan Siklus Hidup MLOps

batas berpindah

Penyebaran dan Siklus Hidup MLOps

pergeseran konsep

Penyebaran dan Siklus Hidup MLOps

tidak berubah menurun

Penyebaran dan Siklus Hidup MLOps

cara mendeteksi

Penyebaran dan Siklus Hidup MLOps

Penyebaran dan Siklus Hidup MLOps

tantangannya

Penyebaran dan Siklus Hidup MLOps

berdasar kasus guna

Penyebaran dan Siklus Hidup MLOps

tidak pernah gratis

Penyebaran dan Siklus Hidup MLOps

gunakan yang ada

Penyebaran dan Siklus Hidup MLOps

perubahan fitur input

Penyebaran dan Siklus Hidup MLOps

pergeseran kovariat

Penyebaran dan Siklus Hidup MLOps

batasan pemantauan input

Penyebaran dan Siklus Hidup MLOps

pemantauan output

Penyebaran dan Siklus Hidup MLOps

Ayo berlatih!

Penyebaran dan Siklus Hidup MLOps

Preparing Video For Download...