從概念驗證到正式上線

打造可擴充的 Agentic 系統

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

整體藍圖

應用中的代理 v2_1

打造可擴充的 Agentic 系統

步驟 1:驗證真實互動

 

測試會導致失敗,而失敗帶來理解。

— Burt Rutan

Burt Rutan

打造可擴充的 Agentic 系統

步驟 1:驗證真實互動

 

使用者錯誤

模擬資料

1 nip over = 英式俚語,意為「快去一下、順道去」
打造可擴充的 Agentic 系統

步驟 2:全面測試:單元測試

單元測試

打造可擴充的 Agentic 系統

步驟 2:全面測試:整合測試

整合測試

打造可擴充的 Agentic 系統

步驟 2:全面測試:評估 system prompts

評估 system prompts

打造可擴充的 Agentic 系統

步驟 2:全面測試:主觀評估

人工評分者

打造可擴充的 Agentic 系統

步驟 2:全面測試:主觀評估

LLM 作為評審

打造可擴充的 Agentic 系統

步驟 3:防護欄與可觀測性

 

內容過濾器

後備機制

打造可擴充的 Agentic 系統

步驟 3:防護欄與可觀測性

記錄與監控

 

資料蒐集

打造可擴充的 Agentic 系統

步驟 4:影子部署

 

影子部署

打造可擴充的 Agentic 系統

步驟 5:部署策略

部署策略 1

打造可擴充的 Agentic 系統

步驟 5:部署策略

部署策略 2

打造可擴充的 Agentic 系統

步驟 5:部署策略

部署策略 3

打造可擴充的 Agentic 系統

最終檢查清單

上線前檢查清單

打造可擴充的 Agentic 系統

一起來練習吧!

打造可擴充的 Agentic 系統

Preparing Video For Download...