Принципи проєктування масштабованих агентів

Побудова масштабованих агентних систем

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Масштабується чи ні?

Масштабується чи ні?

Масштабується чи ні?

Масштабується чи ні?

Стовпи масштабованих агентних систем

Надійна інфраструктура та інструменти

• Compute: Ресурси для виконання коду

 

• Storage: Збереження станів, логів і історії

Надійна інфраструктура та інструменти

Надійні конвеєри розгортання

Відпрацьовані інструменти для агентів

Модульність

Проєктування систем як окремих незалежних компонентів, що утворюють ціле

• Дає змогу незалежно проєктувати, розробляти й обслуговувати

Модульність

Проєктування систем як окремих незалежних компонентів, що утворюють ціле

• Дає змогу незалежно проєктувати, розробляти й обслуговувати

Модульність

Проєктування систем як окремих незалежних компонентів, що утворюють ціле

• Дає змогу незалежно проєктувати, розробляти й обслуговувати

Модульність в агентах: програмна модульність

Модульність в агентах: мультиагенти

Модульність в агентах: мультиагенти

Приклад: мультиагент для підтримки клієнтів

Анонс розділу 2

¹ https://langchain-ai.github.io/langgraph/concepts/multi_agent/#multi-agent-architectures

Безперервна оцінка та петлі зворотного зв'язку

 

• Комплексне моніторингування

 

Безперервна оцінка та петлі зворотного зв'язку

 

• Комплексне моніторингування
• Типові метрики:
  • Рівень успіху
  • Затримка
  • Помилки

 

Безперервна оцінка та петлі зворотного зв'язку

 

• Комплексне моніторингування
• Типові метрики:
  • Рівень успіху
  • Затримка
  • Помилки
• Збирайте відгуки користувачів

 

Давайте потренуємось!

Побудова масштабованих агентних систем