RAG vs. Fine-Tuning

LLMOps-Konzepte

Max Knobbout, PhD

Applied Scientist, Uber

LLM-Lebenszyklus: RAG vs. Fine-Tuning

Übersicht der Phasen im LLM-Anwendungslebenszyklus

Verspielter Cartoon, der ein Tablet mit einer Banane betreibt

Kombiniert das Denkvermögen von LLMs mit externem Wissen.
Drei Schritte in einer Chain:
1. Retrieve: relevante Dokumente abrufen
2. Augment: Prompt mit Beispielen erweitern
3. Generate: Ausgabe erzeugen
Oft mit Vektordatenbanken umgesetzt.

Retrieve:
- Eingabe in Embedding umwandeln
- Vektordatenbank durchsuchen
- Ähnlichste Dokumente abrufen

Retrieve-Kette

Retrieve:
- Embedding aus Eingabe erzeugen
- Vektordatenbank durchsuchen
- Ähnlichste Dokumente abrufen
Augment:
- Kombiniert Eingabe mit Dokumenten zu einem finalen Prompt

Augment-Kette

Retrieve:
- Embedding aus Eingabe erzeugen
- Vektordatenbank durchsuchen
- Ähnlichste Dokumente abrufen
Augment:
- Eingabe mit Top-k-Dokumenten kombinieren und Prompt erweitern
Generate:
- Prompt nutzen, um Ausgabe zu erzeugen

Viele Implementierungsoptionen und Embedding-Modelle. Experimentiere und teste!

Kette zum Generieren

Passt die Gewichte des LLM an
Für spezielle Aufgaben und Domänen erweitern:
- Verschiedene Sprachen
- Spezialisierte Bereiche

Überwachtes Fine-Tuning (Transferlernen)

Benötigte Daten 📂:

Reinforcement Learning from Human Feedback (RLHF)

Benötigte Daten 📂:

Vorgehen 🔍:

Vorgehen 🔍:

Verspielter Cartoon, der ein Tablet mit einer Banane betreibt

Nutze es zur Spezialisierung auf neue Domänen
✅ Volle Kontrolle, keine Extra-Komponenten
❌ Benötigt Label-Daten & Spezialwissen, Bias-Verstärkung, katastrophales Vergessen

Entwicklungszyklus mit zusätzlicher Aktivität: Chain- und Agent-Entwicklung

Entwicklungszyklus mit zusätzlicher Aktivität: RAG

Entwicklungszyklus mit zusätzlicher Aktivität: Fine-Tuning

LLMOps-Konzepte