監控與可觀測性

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命週期：監控與可觀測性

監控與可觀測性

 

 

• Monitoring 持續監看系統。
• Observability 讓外部觀察者看見內部狀態。
• 可觀測性的資料來源：
  1. 日誌
  2. 指標
  3. 追蹤

輸入監控

• 監控輸入以偵測：
  • 變更
  • 錯誤
  • 惡意內容
• 資料漂移是指輸入資料分佈隨時間改變
• 因應資料漂移需要：
  • 監測資料分佈
  • 定期更新模型

功能性監控

• 範例：

  • 回應時間
  • 請求量
  • 當機時間
  • 錯誤率

• 對於 LLM 應用：

  • Chain 與 agent 的執行
  • 系統資源（GPU）
  • 成本

輸出監控

• 使用測試期間定義的指標，例如：
  • 偏誤
  • 有害性
  • 助益性
• 模型漂移：
  • 輸入與輸出關係發生改變
• 審查（censoring）是主動介入

警報處理

 

 

 

 

• 問題發生時收到通知
• 擁有明確流程
• 可能訂有服務等級協議（SLA）

一起來練習吧！

LLMOps 概念