Розгортання

Концепції LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Життєвий цикл LLM: розгортання

Огляд фаз життєвого циклу LLM-застосунку

Концепції LLMOps

Переходимо до розгортання

 

 

Грайливе зображення мультяшних персонажів, що тягнуть коробку

 

 

  • Немає універсального рішення!
  • Застосунок може містити логіку ланцюгів/агентів, векторну базу, LLM тощо
  • Кожен компонент слід розгорнути й змусити працювати разом
Концепції LLMOps

Крок 1: Вибір хостингу

  • Приватна/публічна хмара або on‑premise-хостинг
  • Багато провайдерів хмар надають рішення для хостингу й розгортання LLM

Хостинг

Концепції LLMOps

Крок 2: Проєктування API

  • API дають змогу різним програмам спілкуватися між собою
  • Дизайн впливає на масштабованість, вартість і потреби інфраструктури
  • Безпека критична, керується за допомогою API‑ключів!

Проєктування API

Концепції LLMOps

Крок 3: Як запускати

  • Варіанти:

    1. Контейнери
    2. Serverless‑функції
    3. Керовані хмарні сервіси

  • Плюси/мінуси: вартість, масштабованість, ефективність і гнучкість

Лого Docker

Архітектура виконання

Концепції LLMOps

CI/CD

Безперервна інтеграція (CI):

  1. Source: отримати вихідний код
  2. Build: створити образ контейнера з кодом
  3. Test: виконати інтеграційні тести
  4. Register: зберегти контейнер у реєстрі

Безперервне розгортання (CD):

  1. Retrieve: отримати контейнер з реєстру
  2. Test: виконати тести розгортання
  3. Deploy: розгорнути контейнер у середовищах:
    • Staging
    • Production
Концепції LLMOps

Масштабування

 

Грайливе зображення мультяшних персонажів, що будують великого робота

 

  • LLM можуть потребувати спеціалізованих GPU.

  • Стратегії масштабування:

    1. Горизонтальне: додати більше машин
    2. Вертикальне: підсилити одну машину

  • Горизонтальне — для трафіку, вертикальне — для надійності й швидкості

Концепції LLMOps

Давайте потренуємось!

Концепції LLMOps

Preparing Video For Download...