RAG vs. ajuste fino

Conceptos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida de LLM: RAG vs. ajuste fino

Resumen de las fases del ciclo de vida de una app LLM

Dibujo gracioso usando un plátano para alimentar una tablet

Combina la capacidad de razonamiento del LLM con conocimiento externo.
Tres pasos en una cadena:
1. Retrieve documentos relacionados
2. Augment el prompt con ejemplos
3. Generate la salida
A menudo se implementa con bases de vectores.

Retrieve:
- Convertir el input a embedding
- Buscar en base de vectores
- Recuperar los documentos más similares

Cadena de recuperación

Retrieve:
- Generar embedding del input
- Buscar en base de vectores
- Recuperar los documentos más similares
Augment:
- Combina el input con documentos para crear el prompt final

Cadena de aumento

Retrieve:
- Generar embedding del input
- Buscar en base de vectores
- Recuperar los documentos más similares
Augment:
- Combinar el input con los top-k documentos y crear un prompt aumentado
Generate:
- Usa el prompt para crear una salida

Muchas opciones de implementación y modelos de embeddings. ¡Experimenta y prueba!

Cadena de generación

Ajusta los pesos del LLM
Se amplía a tareas y dominios específicos:
- Distintos idiomas
- Campos especializados

Ajuste fino supervisado (transfer learning)

Tipo de datos necesarios 📂:

RLHF (Reinforcement Learning from Human Feedback)

Tipo de datos necesarios 📂:

Enfoque 🔍:

Enfoque 🔍:

Dibujo gracioso usando un plátano para alimentar una tablet

Úsalo al especializar en un dominio nuevo
✅ Control total y sin componentes extra
❌ Requiere datos etiquetados y conocimiento experto, amplifica sesgos, olvido catastrófico

Ciclo de desarrollo con la actividad de desarrollo de cadenas y agentes añadida

Ciclo de desarrollo con la actividad de RAG añadida

Ciclo de desarrollo con la actividad de ajuste fino añadida

Conceptos de LLMOps