Od proof-of-concept k produkci

Building Scalable Agentic Systems

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Celkový pohled

agent_in_app_v2_1.jpg

Building Scalable Agentic Systems

Krok 1: Ověření reálných interakcí

 

Testování vede k selhání a selhání vede k porozumění.

— Burt Rutan

burt_rutan.png

Building Scalable Agentic Systems

Krok 1: Ověření reálných interakcí

 

user_errors.png

simulated_data.png

1 nip over = British slang for a quick visit
Building Scalable Agentic Systems

Krok 2: Testování – Unit testy

unit_tests.jpg

Building Scalable Agentic Systems

Krok 2: Testování – Integrační testy

intergration_tests.jpg

Building Scalable Agentic Systems

Krok 2: Testování – Hodnocení systémových promptů

eval_system_prompts.jpg

Building Scalable Agentic Systems

Krok 2: Testování – Subjektivní hodnocení

human_rater.jpg

Building Scalable Agentic Systems

Krok 2: Testování – Subjektivní hodnocení

llm_as_judge.jpg

Building Scalable Agentic Systems

Krok 3: Guardrails a observabilita

 

content_filters.png

fallbacks.png

Building Scalable Agentic Systems

Krok 3: Guardrails a observabilita

logging.png

 

data_collection.png

Building Scalable Agentic Systems

Krok 4: Stínové nasazení

 

shadow_deployment.png

Building Scalable Agentic Systems

Krok 5: Strategie nasazení

deployment_strategies1.jpg

Building Scalable Agentic Systems

Krok 5: Strategie nasazení

deployment_strategies2.jpg

Building Scalable Agentic Systems

Krok 5: Strategie nasazení

deployment_strategies3.jpg

Building Scalable Agentic Systems

Závěrečný kontrolní seznam

prelaunch_checklist.jpg

Building Scalable Agentic Systems

Pojďme si procvičit!

Building Scalable Agentic Systems

Preparing Video For Download...