Керування витратами
Концепції LLMOps
Max Knobbout, PhD
Applied Scientist, Uber
Життєвий цикл LLM: керування витратами
Керування витратами
- Фокус на витратах моделі
- Витрати можуть зростати через хостинг та/або використання
- Для самостійного хостингу витрати йдуть на хостинг
- Для зовнішнього хостингу витрати йдуть за використанням
Структура витрат LLM
Самостійний хостинг (відкритий код)
- Хмара:
- Тривалість роботи сервера
- Локальна інфраструктура:
- Вартість обладнання
- Обслуговування та електроенергія
Зовнішній хостинг (пропрієтарний)
- Пропрієтарні моделі:
- Кількість викликів
- Кількість токенів на виклик
Стратегія 1: Оберіть відповідну модель
- Обирайте найекономнішу модель, що виконує завдання
- Використовуйте кілька менших моделей під конкретні задачі
- Для самостійного хостингу розгляньте зменшення розміру моделі
Стратегія 2: Оптимізуйте підказки
- Використовуйте автоматичну стискування підказок
- Скорочення вмісту:
- Оптимізуйте керування «пам'яттю чату»
- Оптимізуйте RAG, щоб повертати менше результатів
Стратегія 3: Оптимізуйте кількість викликів
- Використовуйте батчинг
- Використовуйте кешування відповідей (де доречно)
- Оптимізуйте (і обмежуйте) виклики агентів
- Встановіть квоти та ліміти швидкості
- Розгляньте задачі, що не потребують LLM
Метрики витрат і прогнозування
- Важливо відстежувати:
- Для самостійного хостингу — вартість на машину за одиницю часу
- Для зовнішнього хостингу — вартість за сесію
- Розумійте, як зростатиме база користувачів і як масштабуватимуться витрати
Давайте потренуємось!
Концепції LLMOps
Preparing Video For Download...
