Ontwerpprincipes voor schaalbare agents

Schaalbare Agentic-systemen bouwen

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Schaalbaar of niet schaalbaar?

Schaalbaar of niet schaalbaar?

Schaalbaar of niet schaalbaar?

Schaalbaar of niet schaalbaar?

De pijlers van schaalbare agent-systemen

Robuuste infrastructuur en tooling

• Compute: Resources om code uit te voeren

 

• Storage: Opslaan van states, logs en historie

Robuuste infrastructuur en tooling

Betrouwbare deploy-pijplijnen

Bewezen agent-tooling

Modulariteit

Systemen ontwerpen als losse, onafhankelijke componenten die samen één geheel vormen

• Maakt onafhankelijk ontwerp, ontwikkeling en onderhoud mogelijk

Modulariteit

Systemen ontwerpen als losse, onafhankelijke componenten die samen één geheel vormen

• Maakt onafhankelijk ontwerp, ontwikkeling en onderhoud mogelijk

Modulariteit

Systemen ontwerpen als losse, onafhankelijke componenten die samen één geheel vormen

• Maakt onafhankelijk ontwerp, ontwikkeling en onderhoud mogelijk

Modulariteit in agents: Softwaremodulariteit

Modulariteit in agents: Multi-agents

Modulariteit in agents: Multi-agents

Voorbeeld: Klantenservice multi-agent

Sneak peek van Hoofdstuk 2

¹ https://langchain-ai.github.io/langgraph/concepts/multi_agent/#multi-agent-architectures

Continue evaluatie en feedbackloops

 

• Uitgebreide monitoring

 

Continue evaluatie en feedbackloops

 

• Uitgebreide monitoring
• Veelgebruikte metrics:
  • Succesratio
  • Latentie
  • Fouten

 

Continue evaluatie en feedbackloops

 

• Uitgebreide monitoring
• Veelgebruikte metrics:
  • Succesratio
  • Latentie
  • Fouten
• Verzamel feedback van gebruikers

 

Laten we oefenen!

Schaalbare Agentic-systemen bouwen