可擴展代理的設計原則

打造可擴充的 Agentic 系統

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

可擴展？不可擴展？

可擴展？不可擴展？

可擴展？不可擴展？

可擴展？不可擴展？

可擴展代理系統的支柱

穩健的基礎設施與工具鏈

• Compute：執行程式碼的資源

 

• Storage：儲存狀態、記錄與歷程

穩健的基礎設施與工具鏈

可靠的部署流程

成熟的代理工具

模組化

將系統設計為彼此_獨立_的元件，組成更大的整體

• 可各自設計、開發與維護

模組化

將系統設計為彼此_獨立_的元件，組成更大的整體

• 可各自設計、開發與維護

模組化

將系統設計為彼此_獨立_的元件，組成更大的整體

• 可各自設計、開發與維護

代理的模組化：軟體模組化

代理的模組化：多代理

代理的模組化：多代理

範例：客服多代理

第 2 章搶先看

¹ https://langchain-ai.github.io/langgraph/concepts/multi_agent/#multi-agent-architectures

持續評估與回饋循環

 

• 全面性的_監控_

 

持續評估與回饋循環

 

• 全面性的_監控_
• 常見指標：
  • 成功率
  • 延遲
  • 錯誤

 

持續評估與回饋循環

 

• 全面性的_監控_
• 常見指標：
  • 成功率
  • 延遲
  • 錯誤
• 蒐集使用者回饋

 

一起來練習吧！

打造可擴充的 Agentic 系統