部署

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命週期：部署

邁向部署

 

 

 

 

• 沒有通用解答！
• 一個應用可含 chain/agent 邏輯、向量資料庫、LLM 等
• 各元件都需部署且能協同運作

步驟 1：選擇託管方式

• 私有/公有雲或本機機房託管
• 多家雲端供應商提供 LLM 託管與部署方案

步驟 2：API 設計

• API 讓不同軟體彼此溝通
• 設計影響可擴充性、成本與基礎架構需求
• 安全性關鍵，由 API 金鑰控管！

步驟 3：如何執行

• 選項：

  1. 容器
  2. 無伺服器函式
  3. 雲端代管服務

• 各有利弊：成本、擴充性、效率與彈性

CI/CD

持續整合（CI）：

1. Source：擷取原始程式碼
2. Build：建立含程式碼的容器映像
3. Test：執行整合測試
4. Register：將容器儲存至登錄庫

持續部署（CD）：

1. Retrieve：自登錄庫取回容器
2. Test：執行部署測試
3. Deploy：將容器部署至環境：
   • Staging
   • Production

擴充

 

 

• LLM 可能需要專用 GPU 硬體。

• 擴充策略：

  1. 水平：增加機器數量
  2. 垂直：強化單台機器

• 水平應對流量，垂直提升穩定與速度

一起來練習吧！

LLMOps 概念