構思階段

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命週期：構思階段

資料來源蒐集

 

 

• 釐清需求

 

• 尋找來源

 

• 確保可近性

資料來源蒐集

 

1. 資料是否相關？
2. 資料是否可得？
   • 轉換資料
   • 架設額外資料庫
   • 評估成本
   • 考量其他存取限制
3. 資料是否符合標準？
   • 涵蓋品質與治理

選擇基礎模型

• 預先訓練模型：

• 專有或開源？

專有模型（私人擁有）

優點：

• 部署與使用容易
• 品質保證
• 可靠、快速、可用性高

 

限制：

• 需要暴露資料
• 客製化受限

範例：

開源（公開存取）

優點：

• 內部自架
• 透明
• 完全可客製

 

限制：

• 技術支援
• 商業使用

 

範例：

 

可下載自：

模型選擇考量

1. 效能 ⭐

• 回應品質
• 速度

2. 模型特性 ⭐

• 訓練所用資料
• 情境視窗大小
• 微調能力

模型選擇考量

3. 實務考量 ⭐

• 授權
• 成本
• 環境影響

4. 次要因素

• 參數數量
• 熱門度

一起來練習吧！

LLMOps 概念