Pemantauan dan peringatan

Penyebaran dan Siklus Hidup MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

dunia luar

Penyebaran dan Siklus Hidup MLOps

bug di layanan

Penyebaran dan Siklus Hidup MLOps

menangkap bug

Penyebaran dan Siklus Hidup MLOps

banyak komponen bergerak

Penyebaran dan Siklus Hidup MLOps

titik kegagalan 2

Penyebaran dan Siklus Hidup MLOps

peringatan

Penyebaran dan Siklus Hidup MLOps

lihat di sini

Penyebaran dan Siklus Hidup MLOps

logging 1

Penyebaran dan Siklus Hidup MLOps

logging 2

Penyebaran dan Siklus Hidup MLOps

logging 3

Penyebaran dan Siklus Hidup MLOps

pipeline data 1

Penyebaran dan Siklus Hidup MLOps

validasi data 2

Penyebaran dan Siklus Hidup MLOps

profil data validasi

Penyebaran dan Siklus Hidup MLOps

Validasi statistik

Dapat:

  • terlalu sensitif
  • kurang informatif

 

Risiko

  • Terlalu banyak peringatan
  • "Kelelahan peringatan"
  • Peringatan penting terlewat
Penyebaran dan Siklus Hidup MLOps

beri tahu semua orang

Penyebaran dan Siklus Hidup MLOps

Belajar dari riwayat Anda

Setelah menangani insiden => Catat akar masalah dan langkah penyelesaiannya

Contoh dari Google[1]:

  • 10 tahun insiden dicatat dan dianalisis
  • > 2/3 tidak terkait ML!
1 How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian
Penyebaran dan Siklus Hidup MLOps

pemantauan terpusat

Penyebaran dan Siklus Hidup MLOps

Ayo berlatih!

Penyebaran dan Siklus Hidup MLOps

Preparing Video For Download...