RAG и дообучение

Концепции LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Жизненный цикл LLM: RAG и дообучение

Обзор этапов жизненного цикла LLM-приложения

Концепции LLMOps

Retrieval Augmented Generation (RAG)

Игривый мультяшный рисунок: банан питает планшет

 

  • Сочетают рассуждения LLM с внешними знаниями.

  • Три шага в цепочке:

    1. Retrieve — поиск связанных документов
    2. Augment — дополнение запроса примерами
    3. Generate — генерация ответа

  • Часто реализуется с помощью векторных баз данных.

Концепции LLMOps

RAG-цепочка с векторной базой данных

  1. Retrieve:
    • Преобразование входных данных в эмбеддинг
    • Поиск в векторной базе данных
    • Извлечение наиболее похожих документов

Цепочка Retrieve

Концепции LLMOps

RAG-цепочка с векторной базой данных

  1. Retrieve:
    • Генерация эмбеддинга из входных данных
    • Поиск в векторной базе данных
    • Извлечение наиболее похожих документов
  2. Augment:
    • Объединяет входные данные с документами для формирования итогового запроса

Цепочка Augment

Концепции LLMOps

RAG-цепочка с векторной базой данных

  1. Retrieve:
    • Генерация эмбеддинга из входных данных
    • Поиск в векторной базе данных
    • Извлечение наиболее похожих документов
  2. Augment:
    • Объединяет входные данные с top-k документами и создаёт дополненный запрос
  3. Generate:
    • Использует запрос для генерации ответа

Много вариантов реализации и моделей эмбеддингов. Экспериментируйте и тестируйте!

Цепочка Generate

Концепции LLMOps

Дообучение

 

Игривый мультяшный рисунок: персонаж примеряет костюм по мерке

 

 

  • Корректирует веса LLM
  • Адаптация к конкретным задачам и областям:
    • Другие языки
    • Специализированные предметные области
Концепции LLMOps

Дообучение

Дообучение с учителем                             (transfer learning)

Необходимые данные 📂:

  • Демонстрационные данные (входные данные с желаемыми ответами)

Обучение с подкреплением на основе обратной связи от людей (RLHF)

Необходимые данные 📂:

  • Ранжирования или оценки качества (по лайкам и дизлайкам)

Подход 🔍:

  • Повторное обучение (части) модели

Подход 🔍:

  • Обучение дополнительной модели вознаграждения
  • Оптимизация исходной LLM для максимизации вознаграждения
Концепции LLMOps

RAG или дообучение

RAG
  • Используйте для включения фактических знаний
  • ✅ Сохраняет возможности LLM, прост в реализации, всегда актуален
  • ❌ Добавляет компоненты, требует тщательной инженерии

Игривый мультяшный рисунок: банан питает планшет

Игривый мультяшный рисунок: персонаж примеряет костюм по мерке

Дообучение
  • Используйте для специализации в новой области
  • ✅ Полный контроль, никаких лишних компонентов
  • ❌ Требует размеченных данных и экспертизы; риск усиления предвзятостей и катастрофического забывания
Концепции LLMOps

Цикл разработки

Цикл разработки с добавленным этапом создания цепочек и агентов

Концепции LLMOps

Цикл разработки

Цикл разработки с добавленным этапом RAG

Концепции LLMOps

Цикл разработки

Цикл разработки с добавленным этапом дообучения

Концепции LLMOps

Давайте потренируемся!

Концепции LLMOps

Preparing Video For Download...