部署

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命周期：部署

走向部署

 

 

 

 

• 没有通用方案！
• 应用可能包含链/智能体逻辑、向量数据库、LLM 等
• 各组件都需部署并协同工作

步骤 1：选择托管方式

• 私有/公有云或本地部署
• 许多云厂商提供 LLM 托管与部署方案

步骤 2：API 设计

• API 让不同软件相互通信
• 设计影响可扩展性、成本与基础设施需求
• 安全至关重要，用 API 密钥控制

步骤 3：如何运行

• 选项：

  1. 容器
  2. 无服务器函数
  3. 云托管服务

• 权衡优劣：成本、可扩展性、效率、灵活性

CI/CD

持续集成（CI）：

1. 代码：获取源代码
2. 构建：生成包含代码的容器镜像
3. 测试：执行集成测试
4. 注册：将容器存入镜像仓库

持续部署（CD）：

1. 拉取：从仓库获取容器
2. 测试：执行部署测试
3. 部署：将容器发布到环境：
   • 预发布（Staging）
   • 生产（Production）

扩展

 

 

• LLM 可能需要专用 GPU 硬件

• 扩展策略：

  1. 水平：增加机器数量
  2. 垂直：增强单机性能

• 流量用水平扩展；可靠性与速度用垂直扩展

开始练习吧！

LLMOps 概念