Цепочки и агенты

Концепции LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Жизненный цикл LLM: цепочки и агенты

От промптов к приложениям

 

• Для использования шаблона нужны:
  • Примеры
  • Входные данные
• Процесс включает несколько шагов:
  1. Получение входных данных
  2. Поиск примеров
  3. Формирование промпта
  4. Получение ответа
  5. Разбор ответа

Цепочка на основе нашего шаблона

 

Зачем нужны цепочки

 

 

 

• Разработка сложных приложений
• Модульная архитектура для масштабируемости и эффективности
• Широкие возможности кастомизации

Агенты

 

 

 

• Агент состоит из:
  • Набора действий (инструментов)
  • LLM, выбирающей нужное действие

 

• Применяется, когда:
  • Действий много
  • Оптимальная последовательность шагов неизвестна
  • Входные данные заранее не определены

Агенты

Агенты

Агенты

Различия между цепочками и агентами

 

 

	Цепочки 🔗	Агенты 🤖
Природа	Детерминированная	Адаптивная
Сложность	Низкая	Высокая
Гибкость	Низкая	Высокая
Риск	Ниже (за счёт предсказуемости)	Выше (за счёт адаптивности)

Цикл разработки

Цикл разработки

Цикл разработки

Давайте потренируемся!

Концепции LLMOps