Chains 與 Agents

LLMOps 概念

Max Knobbout, PhD

Applied Scientist, Uber

LLM 生命週期:Chains 與 Agents

LLM 應用程式生命週期各階段概觀

LLMOps 概念

從提示到應用程式

菜餚熱量分類的提示模板

 

  • 使用此模板需要:
    • 範例
    • 輸入
  • 我們依序進行:
    1. 接收輸入
    2. 搜尋範例
    3. 建立提示
    4. 取得輸出
    5. 解析輸出
LLMOps 概念

使用我們模板的 chain

 

使用 chain 從資料庫擷取相似菜餚的 LLM 應用

LLMOps 概念

為什麼需要 chains

 

三個卡通人物在畫鏈條的趣味圖片

 

 

  • 開發更精密的應用
  • 建立模組化設計,提升可擴充性與效率
  • 開放無限客製化可能
LLMOps 概念

Agents

 

 

騎著機器老鼠的卡通圖像

 

  • Agent 組成:
    • 多個動作(或工具)
    • 由 LLM 決定採取哪個動作

 

  • 什麼時候好用:
    • 動作很多
    • 最佳步驟順序未知
    • 輸入不確定
LLMOps 概念

Agents

包含兩個動作的 agent 架構

LLMOps 概念

Agents

包含兩個動作的 agent 架構

LLMOps 概念

Agents

包含兩個動作的 agent 架構

LLMOps 概念

Chains 與 Agents 的差異

 

 

Chains 🔗 Agents 🤖
Nature 決定論 適應型
Complexity  
Flexibility
Risk 較低(可預測性)                較高(具適應性)               
LLMOps 概念

開發循環

開發循環,加入提示工程活動

LLMOps 概念

開發循環

包含 chain 與 agent 的開發循環

LLMOps 概念

開發循環

加入 chain 與 agent 開發活動的開發循環

LLMOps 概念

一起來練習吧!

LLMOps 概念

Preparing Video For Download...