Van proof-of-concept naar productie

Schaalbare Agentic-systemen bouwen

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Het grotere geheel

agent_in_app_v2_1.jpg

Schaalbare Agentic-systemen bouwen

Stap 1: Echte interacties valideren

 

Testen leidt tot falen, en falen leidt tot begrip.

— Burt Rutan

burt_rutan.png

Schaalbare Agentic-systemen bouwen

Stap 1: Echte interacties valideren

 

gebruikersfouten.png

gesimuleerde_data.png

1 nip over = Brits voor een kort bezoek
Schaalbare Agentic-systemen bouwen

Stap 2: Test alles: Unit-tests

unittests.jpg

Schaalbare Agentic-systemen bouwen

Stap 2: Test alles: Integratietests

integratietests.jpg

Schaalbare Agentic-systemen bouwen

Stap 2: Test alles: Systeemprompts evalueren

systeemprompts_beoordelen.jpg

Schaalbare Agentic-systemen bouwen

Stap 2: Test alles: Subjectieve evaluaties

menselijke_beoordelaar.jpg

Schaalbare Agentic-systemen bouwen

Stap 2: Test alles: Subjectieve evaluaties

llm_als_rechter.jpg

Schaalbare Agentic-systemen bouwen

Stap 3: Guardrails en observability

 

content_filters.png

fallbacks.png

Schaalbare Agentic-systemen bouwen

Stap 3: Guardrails en observability

logging.png

 

data_collection.png

Schaalbare Agentic-systemen bouwen

Stap 4: Shadow deployments

 

shadow_deployment.png

Schaalbare Agentic-systemen bouwen

Stap 5: Deploymentsstrategieën

deployment_strategies1.jpg

Schaalbare Agentic-systemen bouwen

Stap 5: Deploymentsstrategieën

deployment_strategies2.jpg

Schaalbare Agentic-systemen bouwen

Stap 5: Deploymentsstrategieën

deployment_strategies3.jpg

Schaalbare Agentic-systemen bouwen

Laatste checklist

prelaunch_checklist.jpg

Schaalbare Agentic-systemen bouwen

Laten we oefenen!

Schaalbare Agentic-systemen bouwen

Preparing Video For Download...