治理與安全

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命週期：治理與安全

治理與安全

 

 

• 治理 涵蓋政策、指引與架構
• 安全 著重防範：
  • 未授權存取
  • 資料外洩
  • 對抗式攻擊
  • 濫用或操控模型輸出或能力

存取控制

• 採用 Role Based Access Control（RBAC，角色為本存取控制）

• 所有 API 必須遵循安全標準

• 採用 零信任安全模型

• 確保應用在存取外部資訊時能擔任正確角色

 

威脅：提示注入

• 提示注入（prompt injection）：攻擊者操縱應用中的輸入欄位或提示，執行未授權指令或動作。
• 緩解方式：
  • 假設提示指令可被覆寫、內容可被揭露
  • 將 LLM 視為不受信任的使用者
  • 辨識並封鎖已知的對抗性提示

威脅：輸出操控

• LLM 的輸出可能被用於後續攻擊。
• 代替使用者執行惡意行為
• 緩解方式：
  • 不要賦予應用不必要的權限
  • 審查並封鎖特定不當輸出

威脅：阻斷服務（DoS）

• 使用者以大量請求癱瘓 LLM 應用，造成成本、可用性與效能問題

• 緩解方式：

  • 限制請求速率
  • 為每次請求設資源上限

 

威脅：資料完整性與投毒

• 資料投毒會將虛假、誤導或惡意資料注入訓練集

  • 資料可能含有版權與／或個資
  • 內容可能有害

• 緩解方式：

  • 使用可信來源並驗證其合法性
  • 使用過濾器
  • 輸出審查

自我防護

 

• 採用最新安全標準並實作緩解策略
• 以惡意使用者視角檢視並防護系統
• 隨時更新，參考 Open Web Application Security Project（OWASP）

¹ OWASP for LLMs: https://llmtop10.com/

一起來練習吧！

LLMOps 概念