Обзор LLMOps

Концепции LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Что мы изучим в этом курсе

LLMOps помогает эффективно управлять, развёртывать и поддерживать приложения на основе больших языковых моделей
В курсе рассматриваются:
- Основы
- Жизненный цикл LLM-приложений
- Проблемы и ключевые аспекты

¹ Иллюстрации: Manfred Steger @ Pixabay

Простой конвейер: запрос поступает в LLM и генерирует ответ

Интеграция корпоративных данных перед генерацией текста
Этапы могут включать обработку и преобразование данных
Один или несколько вызовов модели с поддержкой текста, изображений или мультимодального ввода

В итоге получаем то, что в этом курсе называется LLM-приложениями

Схема сложного конвейера LLM

Бесшовная интеграция

Плавные переходы между этапами жизненного цикла

Эффективное и масштабируемое управление

Основные различия:

	LLMOps	MLOps
Размер модели	Большой	Как правило, меньше
Данные	Текст	Любые данные
Предобученные модели	Как правило, да	Как правило, нет
Улучшение модели	Инжиниринг промптов и тонкая настройка	Инжиниринг признаков и выбор модели
Обобщение	Универсальное	Фиксированная область
Непредсказуемость	Высокая	Низкая
Вывод	Преимущественно текст	Зависит от задачи

Концепции LLMOps