Designprinciper för skalbara agenter

Bygga skalbara agentbaserade system

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Skalbart eller inte skalbart?

Skalbart eller inte skalbart?

Skalbart eller inte skalbart?

Skalbart eller inte skalbart?

Grundpelarna i skalbara agentsystem

Robust infrastruktur och verktyg

• Beräkning: Resurser för att köra kod

 

• Lagring: Sparar tillstånd, loggar och historik

Robust infrastruktur och verktyg

Tillförlitliga driftsättningspipelines

Etablerade agentverktyg

Modularitet

Att utforma system som separata oberoende komponenter som bildar en större helhet

• Möjliggör oberoende design, utveckling och underhåll

Modularitet

Att utforma system som separata oberoende komponenter som bildar en större helhet

• Möjliggör oberoende design, utveckling och underhåll

Modularitet

Att utforma system som separata oberoende komponenter som bildar en större helhet

• Möjliggör oberoende design, utveckling och underhåll

Modularitet i agenter: Programvarumodularitet

Modularitet i agenter: Multiagenter

Modularitet i agenter: Multiagenter

Exempel: Multiagent för kundsupport

En försmak av kapitel 2

¹ https://langchain-ai.github.io/langgraph/concepts/multi_agent/#multi-agent-architectures

Löpande utvärdering och feedbackslingor

 

• Heltäckande övervakning

 

Löpande utvärdering och feedbackslingor

 

• Heltäckande övervakning
• Vanliga mätvärden:
  • Framgångsfrekvens
  • Latens
  • Fel

 

Löpande utvärdering och feedbackslingor

 

• Heltäckande övervakning
• Vanliga mätvärden:
  • Framgångsfrekvens
  • Latens
  • Fel
• Samla in användarfeedback

 

Nu kör vi en övning!

Bygga skalbara agentbaserade system