Pemantauan dan keteramatan

Konsep LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Siklus hidup LLM: Pemantauan dan keteramatan

Ringkasan fase siklus hidup aplikasi LLM

Konsep LLMOps

Pemantauan dan keteramatan

 

Gambar lucu kartun yang mengamati beberapa benda

 

  • Monitoring memantau sistem secara terus-menerus.
  • Observability menyingkap keadaan internal ke pengamat eksternal.
  • Sumber data untuk keteramatan:
    1. Log
    2. Metrik
    3. Jejak (traces)
Konsep LLMOps

Pemantauan input

  • Pantau input untuk:
    • Perubahan
    • Error
    • Konten berbahaya
  • Drift data adalah perubahan distribusi data input seiring waktu
  • Menangani drift data memerlukan:
    • Memantau distribusi data
    • Memperbarui model secara berkala

Pemantauan input

Konsep LLMOps

Pemantauan fungsional

  • Contoh:

    • Waktu respons
    • Volume permintaan
    • Waktu henti
    • Tingkat error

  • Untuk aplikasi LLM:

    • Eksekusi rantai dan agen
    • Sumber daya sistem (GPU)
    • Biaya

Pemantauan fungsional

Konsep LLMOps

Pemantauan keluaran

  • Gunakan metrik yang didefinisikan saat pengujian, seperti:
    • Bias
    • Toksisitas
    • Kegunaan
  • Drift model:
    • Hubungan input-output berubah
  • Sensor mengacu pada intervensi aktif

Pemantauan keluaran

Konsep LLMOps

Penanganan peringatan

 

 

Gambar lucu kartun yang memperbaiki peringatan

 

 

  • Dapatkan notifikasi saat masalah muncul
  • Miliki prosedur yang jelas
  • Service-Level Agreement (SLA) mungkin diterapkan
Konsep LLMOps

Ayo berlatih!

Konsep LLMOps

Preparing Video For Download...