Från konceptbevis till produktion

Bygga skalbara agentbaserade system

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Den stora bilden

agent_in_app_v2_1.jpg

Bygga skalbara agentbaserade system

Steg 1: Validera verkliga interaktioner

 

Testning leder till misslyckanden, och misslyckanden leder till förståelse.

— Burt Rutan

burt_rutan.png

Bygga skalbara agentbaserade system

Steg 1: Validera verkliga interaktioner

 

user_errors.png

simulated_data.png

1 nip over = brittisk slang för ett kort besök
Bygga skalbara agentbaserade system

Steg 2: Testa allt: Enhetstester

unit_tests.jpg

Bygga skalbara agentbaserade system

Steg 2: Testa allt: Integrationstester

intergration_tests.jpg

Bygga skalbara agentbaserade system

Steg 2: Testa allt: Utvärdera systemprompter

eval_system_prompts.jpg

Bygga skalbara agentbaserade system

Steg 2: Testa allt: Subjektiva utvärderingar

human_rater.jpg

Bygga skalbara agentbaserade system

Steg 2: Testa allt: Subjektiva utvärderingar

llm_as_judge.jpg

Bygga skalbara agentbaserade system

Steg 3: Skyddsmekanismer och observerbarhet

 

content_filters.png

fallbacks.png

Bygga skalbara agentbaserade system

Steg 3: Skyddsmekanismer och observerbarhet

logging.png

 

data_collection.png

Bygga skalbara agentbaserade system

Steg 4: Skuggutrullning

 

shadow_deployment.png

Bygga skalbara agentbaserade system

Steg 5: Driftsättningsstrategier

deployment_strategies1.jpg

Bygga skalbara agentbaserade system

Steg 5: Driftsättningsstrategier

deployment_strategies2.jpg

Bygga skalbara agentbaserade system

Steg 5: Driftsättningsstrategier

deployment_strategies3.jpg

Bygga skalbara agentbaserade system

Slutchecklista

prelaunch_checklist.jpg

Bygga skalbara agentbaserade system

Nu kör vi en övning!

Bygga skalbara agentbaserade system

Preparing Video For Download...