Управление затратами
Концепции LLMOps
Max Knobbout, PhD
Applied Scientist, Uber
Жизненный цикл LLM: управление затратами
Управление затратами
- Акцент — на затратах на модель
- Затраты зависят от хостинга и/или использования
- При самостоятельном хостинге затраты связаны с размещением
- При внешнем хостинге — с объёмом использования
Структура затрат на LLM
Самостоятельный хостинг (открытый исходный код)
- Облако:
- Локальная инфраструктура:
- Стоимость оборудования
- Обслуживание и электроэнергия
Внешний хостинг (проприетарные модели)
- Проприетарные:
- Количество вызовов
- Количество токенов на вызов
Стратегия 1: выбор подходящей модели
- Используйте наиболее экономичную модель, которая справляется с задачей
- Применяйте несколько небольших специализированных моделей
- При самостоятельном хостинге рассмотрите методы уменьшения размера модели
Стратегия 2: оптимизация промптов
- Используйте автоматическое сжатие промптов
- Сокращение содержимого:
- Оптимизируйте управление «памятью чата»
- Настройте RAG для возврата меньшего числа результатов
Стратегия 3: оптимизация количества вызовов
- Используйте пакетную обработку
- Применяйте кэширование ответов (если применимо)
- Оптимизируйте (и ограничивайте) вызовы агентов
- Устанавливайте квоты и ограничения частоты запросов
- Рассматривайте задачи, не требующие LLM
Метрики затрат и прогнозирование
- Важно отслеживать:
- Для самостоятельного хостинга — стоимость машины за единицу времени
- Для внешнего хостинга — стоимость на сессию
- Понимайте, как будет расти аудитория и как затраты будут масштабироваться вместе с ней
Давайте потренируемся!
Концепции LLMOps
Preparing Video For Download...
