測試

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命週期：測試

LLM 應用生命週期各階段總覽

為何需要測試？

LLM 會犯錯
測試可評估應用是否可部署
我們將評估「輸出」

傳統 ML 與 LLM 應用的測試對比

傳統監督式機器學習：

需要有標記的訓練與測試資料
著重準確度或與目標的接近度

傳統 ML 的訓練集與測試集示意圖

LLM 應用：

需要測試資料，不一定要標記
以多種指標衡量輸出品質

LLM 應用的訓練集與測試集示意圖

步驟 1：建立測試集

測試集應已建立完成
測試資料需貼近真實情境
有多種工具可協助此流程

步驟 2：選擇指標

如果有正確解答…

…使用機器學習指標。例如：
- 準確率

流程圖指向「Use ML metrics」

步驟 2：選擇指標

如果有參考答案…

…使用統計方法。
…使用模型式方法。例如：
- LLM 評審

流程圖指向「Use text comparison metrics」

步驟 2：選擇指標

如果可取得人工回饋…

…請人評分文字。例如：
- 評分品質
- 評分相關性
- 評分連貫性
…使用模型式方法。例如：
- 依過往回饋預測分數
- 請 LLM 評審判斷是否納入回饋

流程圖指向「Use feedback score metrics」

步驟 2：選擇指標

如果沒有人工回饋…

…使用非監督式指標。例如：
- 連貫性
- 流暢度
- 多樣性

流程圖指向「Use unsupervised metrics」

步驟 3：定義可選的次要指標

輸出特性：

🎭 偏誤
☠ 有害性
🤝 有用性

營運特性：

⏱ 延遲
💰 總成本
💻 記憶體用量

開發循環

在開發循環中加入微調活動

開發循環

在開發循環中加入測試活動

開發循環

在開發循環中加入測試活動

開發循環

在開發循環中加入部署活動

一起來練習吧！

LLMOps 概念

Preparing Video For Download...