Otomatisasi dalam strategi deployment MLOps

MLOps Otomatis Penuh

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Deployment model - layanan prediksi

Arsitektur referensi MLOps dengan elemen disorot: layanan prediksi.

MLOps Otomatis Penuh

Mode layanan prediksi - rangkuman

Prediksi dapat disajikan dalam:

  • Batch
  • Stream
  • Real time
  • On the edge
MLOps Otomatis Penuh

Layanan prediksi - batch

$$

  • Jumlah prediksi besar

$$

  • Terjadwal berkala

$$

  • Dipicu peristiwa

$$

$$

$$

Gambar pemrosesan batch. Semua input dikirim ke engine batch. Semua output dikirim sekaligus setelah seluruh input diproses.

MLOps Otomatis Penuh

Layanan prediksi - streaming

$$

  • Data masuk terus-menerus

$$

  • Prediksi dikirim terus-menerus

$$

$$

Gambar pemrosesan stream. Elemen dikirim terus-menerus ke engine stream. Setelah diproses, output dikirim terus-menerus ke output stream.

MLOps Otomatis Penuh

Layanan prediksi - real time

$$

  • Rekaman tunggal

$$

  • Prediksi instan

$$

$$

Interaksi waktu nyata

MLOps Otomatis Penuh

Layanan prediksi - on the edge

$$

  • Perangkat seluler

$$

  • Perangkat IoT

$$

  • Latensi lebih rendah

$$

Aplikasi IoT berjalan di tablet.

MLOps Otomatis Penuh

Strategi deployment

$$

Jenis serving ML menentukan cara kita men-deploy dan memperbarui layanan prediksi

Strategi deployment model meliputi:

  • Shadow deployment
  • Canary deployment
  • A/B testing
  • Blue/Green
MLOps Otomatis Penuh

A/B testing

Gambar A/B testing pada layanan prediksi ter-deploy. Permintaan prediksi dikirim ke load balancer, lalu didistribusikan ke model A dan B. Kinerja keduanya dipantau terus-menerus.

MLOps Otomatis Penuh

A/B testing

Gambar deployment A/B. Setelah pemantauan cukup lama, model B berkinerja lebih baik. Sistem mengalihkan semua permintaan ke model terbaik ini.

MLOps Otomatis Penuh

Shadow deployment

Gambar shadow deployment. Permintaan prediksi dikirim ke load balancer. Permintaan diteruskan ke model live dan shadow. Hanya model live yang mengembalikan prediksi. Kinerja keduanya dipantau terus-menerus.

MLOps Otomatis Penuh

Blue/Green deployment

Gambar blue/green deployment. Sebuah model live di produksi pada lingkungan biru.

MLOps Otomatis Penuh

Blue/Green deployment

Model yang diperbarui di-deploy ke replika lingkungan biru, yaitu lingkungan hijau. Permintaan mulai dialihkan otomatis dari biru ke hijau oleh modul pengalih trafik.

MLOps Otomatis Penuh

Blue/Green deployment

Gambar blue/green deployment. Seluruh trafik beralih secara bertahap dan otomatis dari lingkungan biru ke hijau.

MLOps Otomatis Penuh

Blue/Green deployment

Setelah semua trafik beralih, lingkungan biru dapat dihapus. Lingkungan hijau dengan model terbaru menjadi lingkungan produksi baru.

MLOps Otomatis Penuh

Mendeploy dan memperbarui layanan prediksi

$$

Jenis model menentukan strategi deployment

Tabel strategi deployment dan sifatnya pada 4 dimensi: Tanpa downtime, Berbasis kondisi, Waktu rollback, dan biaya tambahan.

MLOps Otomatis Penuh

Ayo berlatih!

MLOps Otomatis Penuh

Preparing Video For Download...