Hur AI-agenter skalar – och misslyckas

Bygga skalbara agentbaserade system

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Den säkra starten

Den säkra starten

Den säkra starten

Den säkra starten

Den säkra starten

Den säkra starten

Problem vid skalning

Felmönster #1 – Bräcklig utvärdering

¹ nip over = brittisk slang för ett snabbt besök

Felmönster #1 – Bräcklig utvärdering

¹ nip over = brittisk slang för ett snabbt besök

Felmönster #1 – Bräcklig utvärdering

¹ nip over = brittisk slang för ett snabbt besök

Felmönster #2 – Avsiktsdrift

Felmönster #2 – Avsiktsdrift

Felmönster #3 – Oönskade återkopplingsslingor

Uppröstning → skämt, sarkasm osv.

Resultat → sanning nedprioriteras

Definiera tydliga mätvärden för alla prestandaaspekter

• Sanningsenlighet
• Tydlighet
• Ton

Felmönster #4 – Latensflaskhalsar

Felmönster #4 – Latensflaskhalsar

Felmönster #4 – Latensflaskhalsar

Felmönster #4 – Latensflaskhalsar

Felmönster #4 – Latensflaskhalsar

Felmönster #4 – Latensflaskhalsar

Felmönster #5 – Kostnadsexplosion

Felmönster #5 – Kostnadsexplosion

Nu kör vi en övning!

Bygga skalbara agentbaserade system