Фаза идеации

Концепции LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Жизненный цикл LLM: фаза идеации

Обзор фаз жизненного цикла LLM-приложения

Сбор данных

Определение потребностей

Поиск источников

Обеспечение доступности

Сбор данных

Данные релевантны?
Данные доступны?
- Преобразование данных
- Настройка дополнительных баз данных
- Оценка затрат
- Учёт ограничений доступа
Данные соответствуют стандартам?
- Качество и управление данными

Выбор базовой модели

Предобученные модели:

Изображение предобученной модели

Проприетарная или с открытым исходным кодом?

Проприетарные модели (закрытые)

Преимущества:

Простота настройки и использования
Контроль качества
Надёжность, скорость и доступность

Ограничения:

Требуется передача данных
Ограниченная настройка

Примеры:

Логотипы проприетарных LLM-моделей

Открытый исходный код (публичный доступ)

Преимущества:

Локальное размещение
Прозрачность
Полная гибкость настройки

Ограничения:

Поддержка
Коммерческое использование

Пример: Логотип Meta Llama 3

Загрузить можно на:

Факторы выбора модели

1. Производительность ⭐

Качество ответов
Скорость

Иконки, связанные с производительностью

2. Характеристики модели ⭐

Данные для обучения модели
Размер контекстного окна
Возможность дообучения

Иконки, связанные с характеристиками модели

Факторы выбора модели

3. Практические соображения ⭐

Лицензия
Стоимость
Влияние на окружающую среду

Иконки, связанные с практическими соображениями

4. Второстепенные факторы

Количество параметров
Популярность

Иконки, связанные с второстепенными факторами

Давайте потренируемся!

Концепции LLMOps

Preparing Video For Download...