Jak agenci AI skalują się (i zawodzą)

Budowanie skalowalnych systemów agentowych

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Pewny start

Pewny start

Pewny start

Pewny start

Pewny start

Pewny start

Problemy przy skalowaniu

Tryb awarii #1 – Krucha ewaluacja

¹ nip over = British slang for a quick visit

Tryb awarii #1 – Krucha ewaluacja

¹ nip over = British slang for a quick visit

Tryb awarii #1 – Krucha ewaluacja

¹ nip over = British slang for a quick visit

Tryb awarii #2 – Dryfowanie intencji

Tryb awarii #2 – Dryfowanie intencji

Tryb awarii #3 – Niepożądane pętle sprzężenia zwrotnego

Głosowanie w górę → żarty, sarkazm itp.

Efekt → prawda jest depriorytetyzowana

Zdefiniuj jasne metryki dla wszystkich aspektów wydajności

• Prawdziwość
• Klarowność
• Ton

Tryb awarii #4 – Wąskie gardła opóźnień

Tryb awarii #4 – Wąskie gardła opóźnień

Tryb awarii #4 – Wąskie gardła opóźnień

Tryb awarii #4 – Wąskie gardła opóźnień

Tryb awarii #4 – Wąskie gardła opóźnień

Tryb awarii #4 – Wąskie gardła opóźnień

Tryb awarii #5 – Eksplozja kosztów

Tryb awarii #5 – Eksplozja kosztów

Czas na ćwiczenia!

Budowanie skalowalnych systemów agentowych