RAG проти донавчання

Концепції LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Життєвий цикл LLM: RAG проти донавчання

Огляд етапів життєвого циклу застосунку LLM

Грайливий малюнок: планшет живиться бананом

Поєднує міркування LLM із зовнішніми знаннями.
Три кроки в ланцюжку:
1. Retrieve пов'язані документи
2. Augment підказку прикладами
3. Generate результат
Часто реалізують із векторними базами даних.

Retrieve:
- Перетворіть вхід на embedding
- Пошук у векторній базі даних
- Виберіть найбільш подібні документи

Ланцюжок отримання

Retrieve:
- Згенеруйте embedding з входу
- Пошук у векторній базі даних
- Отримайте найбільш подібні документи
Augment:
- Поєднує вхід із документами, щоб створити фінальну підказку

Ланцюжок доповнення

Retrieve:
- Згенеруйте embedding з входу
- Пошук у векторній базі даних
- Отримайте найбільш подібні документи
Augment:
- Поєднайте вхід із top-k документами та створіть доповнену підказку
Generate:
- Використовує підказку для створення результату

Багато варіантів реалізації та моделей embedding. Експериментуйте й тестуйте!

Ланцюжок генерації

Кероване донавчання (transfer learning)

Необхідні дані 📂:

Reinforcement Learning from Human Feedback (RLHF)

Необхідні дані 📂:

Підхід 🔍:

Підхід 🔍:

Грайливий малюнок: планшет живиться бананом

Використовуйте для спеціалізації в новому домені
✅ Повний контроль і без додаткових компонентів
❌ Потрібні розмічені дані та фахові знання, можливе підсилення упереджень і «катастрофічне забування»

Цикл розробки з доданою активністю створення ланцюжків і агентів

Цикл розробки з доданою активністю RAG

Цикл розробки з доданою активністю донавчання

Концепції LLMOps