Принципы проектирования масштабируемых агентов

Создание масштабируемых агентных систем

Korey Stegared-Pace

Senior AI Cloud Advocate, Microsoft

Масштабируемо или нет?

Масштабируемо или нет?

Масштабируемо или нет?

Масштабируемо или нет?

Основы масштабируемых агентных систем

Надёжная инфраструктура и инструменты

• Вычисления: ресурсы для выполнения кода

 

• Хранилище: хранение состояний, журналов и истории

Надёжная инфраструктура и инструменты

Надёжные конвейеры развёртывания

Проверенные инструменты для агентов

Модульность

Проектирование системы из отдельных независимых компонентов, образующих единое целое

• Позволяет проектировать, разрабатывать и поддерживать компоненты независимо

Модульность

Проектирование системы из отдельных независимых компонентов, образующих единое целое

• Позволяет проектировать, разрабатывать и поддерживать компоненты независимо

Модульность

Проектирование системы из отдельных независимых компонентов, образующих единое целое

• Позволяет проектировать, разрабатывать и поддерживать компоненты независимо

Модульность агентов: программная модульность

Модульность агентов: мультиагенты

Модульность агентов: мультиагенты

Пример: мультиагент для поддержки клиентов

Взгляд вперёд: глава 2

¹ https://langchain-ai.github.io/langgraph/concepts/multi_agent/#multi-agent-architectures

Непрерывная оценка и циклы обратной связи

 

• Комплексный мониторинг

 

Непрерывная оценка и циклы обратной связи

 

• Комплексный мониторинг
• Основные метрики:
  • Доля успешных выполнений
  • Задержка
  • Ошибки

 

Непрерывная оценка и циклы обратной связи

 

• Комплексный мониторинг
• Основные метрики:
  • Доля успешных выполнений
  • Задержка
  • Ошибки
• Сбор обратной связи от пользователей

 

Давайте потренируемся!

Создание масштабируемых агентных систем