治理与安全

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命周期：治理与安全

治理与安全

 

 

• "治理"涵盖政策、指南和框架
• "安全"旨在防止：
  • 未经授权的访问
  • 数据泄露
  • 对抗性攻击
  • 对模型输出或能力的滥用/操纵

访问控制

• 使用基于角色的访问控制（RBAC）

• 所有 API 必须遵循安全标准

• 采用零信任安全模型

• 确保应用在访问信息源时承担正确角色

 

威胁：提示注入

• 提示注入：攻击者操控输入或提示以执行未授权命令/操作。
• 缓解措施：
  • 假设提示可被覆盖、内容可被揭示
  • 将 LLM 视为不受信任的用户
  • 识别并阻断已知对抗性提示

威胁：输出操纵

• LLM 的输出可被用于后续攻击。
• 代表用户执行恶意操作
• 缓解措施：
  • 不授予应用不必要的权限/授权
  • 审查并阻止特定不当输出

威胁：拒绝服务

• 用户向我们的 LLM 应用大量发请求，导致成本、可用性与性能问题

• 缓解措施：

  • 限制请求速率
  • 为每个请求设定资源上限

 

威胁：数据完整性与投毒

• 数据投毒向训练集注入虚假、误导或恶意数据

  • 数据可能含有版权和/或个人信息
  • 内容可能有害

• 缓解措施：

  • 使用可信来源并核验合法性
  • 使用过滤器
  • 输出审查

自我防护

 

• 采用最新安全标准并实施缓解策略
• 始终以恶意用户的视角审视系统
• 持续更新，参见开放式 Web 应用安全项目（OWASP）

¹ OWASP for LLMs: https://llmtop10.com/

Vamos praticar!

LLMOps 概念