Развёртывание

Концепции LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Жизненный цикл LLM: развёртывание

Обзор фаз жизненного цикла LLM-приложения

Переход к развёртыванию

Универсального решения не существует!
Приложение может включать цепочку/агент, векторную базу данных, LLM и многое другое
Каждый компонент нужно развернуть и обеспечить их совместную работу

Шаг 1: выбор хостинга

Частное/публичное облако или локальный хостинг
Многие облачные провайдеры предлагают решения для хостинга и развёртывания LLM

Хостинг

Шаг 2: проектирование API

API позволяют разным программам взаимодействовать друг с другом
Проектирование влияет на масштабируемость, стоимость и требования к инфраструктуре
Безопасность критически важна — управляется с помощью ключей API!

Проектирование API

Шаг 3: способ запуска

Варианты:
1. Контейнеры
2. Бессерверные функции
3. Управляемые облачные сервисы
Преимущества/недостатки с точки зрения стоимости, масштабируемости, эффективности и гибкости

Логотип Docker

Архитектура выполнения

CI/CD

Непрерывная интеграция (CI):

Источник: получение исходного кода
Сборка: создание образа контейнера с кодом
Тестирование: выполнение интеграционных тестов
Регистрация: сохранение контейнера в реестре

Непрерывное развёртывание (CD):

Получение: извлечение контейнера из реестра
Тестирование: выполнение тестов развёртывания
Развёртывание: размещение контейнера в средах:
- Staging
- Production

Масштабирование

LLM могут требовать специализированного GPU-оборудования.
Стратегии масштабирования:
1. Горизонтальное: добавление машин
2. Вертикальное: усиление одной машины
Горизонтальное — для нагрузки, вертикальное — для надёжности и скорости

Давайте потренируемся!

Концепции LLMOps

Preparing Video For Download...