RAG kontra fine-tuning

LLMOps-koncept

Max Knobbout, PhD

Applied Scientist, Uber

LLM-livscykel: RAG kontra fine-tuning

Översikt över faserna i LLM-applikationens livscykel

LLMOps-koncept

Retrieval Augmented Generation (RAG)

Lekfull tecknad serie med en banan som driver en surfplatta

 

  • Kombinerar LLM:ers resoneringsförmåga med extern kunskap.

  • Tre steg i en kedja:

    1. Hämta relaterade dokument
    2. Utöka prompten med exempel
    3. Generera utdata

  • Implementeras ofta med vektordatabaser.

LLMOps-koncept

RAG-kedja med vektordatabas

  1. Hämta:
    • Konvertera indata till en inbäddning
    • Sök i vektordatabasen
    • Hämta de mest liknande dokumenten

Hämtningskedja

LLMOps-koncept

RAG-kedja med vektordatabas

  1. Hämta:
    • Generera inbäddning från indata
    • Sök i vektordatabasen
    • Hämta de mest liknande dokumenten
  2. Utöka:
    • Kombinerar indata med dokument för att skapa den slutliga prompten

Utökningskedja

LLMOps-koncept

RAG-kedja med vektordatabas

  1. Hämta:
    • Generera inbäddning från indata
    • Sök i vektordatabasen
    • Hämta de mest liknande dokumenten
  2. Utöka:
    • Kombinera indata med de k bästa dokumenten och skapa en utökad prompt
  3. Generera:
    • Använder prompten för att skapa utdata

Många implementeringsval och inbäddningsmodeller. Experimentera och testa!

Genereringskedja

LLMOps-koncept

Fine-tuning

 

Lekfull bild av en tecknad figur som får en skräddarsydd kostym

 

 

  • Justerar LLM:ens vikter
  • Utökar till specifika uppgifter och domäner:
    • Olika språk
    • Specialiserade fält
LLMOps-koncept

Fine-tuning

Övervakad fine-tuning                             (transferinlärning)

Typ av data som krävs 📂:

  • Demonstrationsdata (indata med önskade utdata)

Reinforcement Learning from Human Feedback (RLHF)

Typ av data som krävs 📂:

  • Rankningar eller kvalitetspoäng (från gillanden och ogillandeen)

Tillvägagångssätt 🔍:

  • Träna om (delar av) modellen

Tillvägagångssätt 🔍:

  • Träna en extra belöningsmodell
  • Optimera den ursprungliga LLM:en för att maximera denna
LLMOps-koncept

RAG eller fine-tuning

RAG
  • Använd när faktakunskap ska inkluderas
  • ✅ Bevarar LLM:ens förmågor, enkel att implementera, alltid uppdaterad
  • ❌ Lägger till extra komponenter, kräver noggrann ingenjörskonst

Lekfull tecknad serie med en banan som driver en surfplatta

Lekfull bild av en tecknad figur som får en skräddarsydd kostym

Fine-tuning
  • Använd när du specialiserar dig inom en ny domän
  • ✅ Full kontroll och inga extra komponenter
  • ❌ Kräver märkt data och specialkompetens, riskerar biasamplifiering och katastrofalt glömande
LLMOps-koncept

Utvecklingscykeln

Utvecklingscykel där aktiviteten kedja- och agentutveckling har lagts till

LLMOps-koncept

Utvecklingscykeln

Utvecklingscykel där aktiviteten RAG har lagts till

LLMOps-koncept

Utvecklingscykeln

Utvecklingscykel där aktiviteten fine-tuning har lagts till

LLMOps-koncept

Nu kör vi en övning!

LLMOps-koncept

Preparing Video For Download...