RAG versus fine-tunen

LLMOps-concepten

Max Knobbout, PhD

Applied Scientist, Uber

LLM-levenscyclus: RAG versus fine-tunen

Overzicht van de fasen in de LLM-toepassingslevenscyclus

LLMOps-concepten

Retrieval Augmented Generation (RAG)

Speelse cartoon die een banaan gebruikt om een tablet van stroom te voorzien

 

  • Combineer de redeneercapaciteiten van LLM's met externe kennis.

  • Drie stappen in een keten:

    1. Retrieve verwante documenten
    2. Augment prompt met voorbeelden
    3. Generate output

  • Vaak geïmplementeerd met vectordatabases.

LLMOps-concepten

RAG-keten met vectordatabase

  1. Retrieve:
    • Zet input om naar embedding
    • Zoek in vectordatabase
    • Haal meest vergelijkbare documenten op

Retrieve-keten

LLMOps-concepten

RAG-keten met vectordatabase

  1. Retrieve:
    • Maak embedding van input
    • Zoek in vectordatabase
    • Haal meest vergelijkbare documenten op
  2. Augment:
    • Combineert input met documenten tot een definitieve prompt

Augment-keten

LLMOps-concepten

RAG-keten met vectordatabase

  1. Retrieve:
    • Maak embedding van input
    • Zoek in vectordatabase
    • Haal meest vergelijkbare documenten op
  2. Augment:
    • Combineer input met top-k documenten en maak een augmented prompt
  3. Generate:
    • Gebruikt de prompt om een output te maken

Veel implementatiekeuzes en embeddingmodellen. Experimenteer en test!

Genereerketen

LLMOps-concepten

Fine-tunen

 

Speelse afbeelding van een cartoon die een op maat gemaakt pak krijgt

 

 

  • Past de gewichten van de LLM aan
  • Uitbreiden naar specifieke taken en domeinen:
    • Verschillende talen
    • Gespecialiseerde vakgebieden
LLMOps-concepten

Fine-tunen

Supervised fine-tuning                             (transfer learning)

Type data nodig 📂:

  • Demonstratiedata (inputs met gewenste outputs)

Reinforcement Learning from Human Feedback (RLHF)

Type data nodig 📂:

  • Rangordes of kwaliteitsscores (verkregen uit likes & dislikes)

Aanpak 🔍:

  • (Deel van) het model hertrainen

Aanpak 🔍:

  • Train een extra beloningsmodel
  • Optimaliseer de originele LLM om dit te maximaliseren
LLMOps-concepten

RAG of fine-tunen

RAG
  • Gebruik bij het toevoegen van feitelijke kennis
  • ✅ Behoudt LLM-capaciteiten, makkelijk te implementeren, altijd up-to-date
  • ❌ Voegt extra componenten toe, vereist zorgvuldige engineering

Speelse cartoon die een banaan gebruikt om een tablet van stroom te voorzien

Speelse afbeelding van een cartoon die een op maat gemaakt pak krijgt

Fine-tunen
  • Gebruik bij specialisatie in een nieuw domein
  • ✅ Volledige controle en geen extra componenten
  • ❌ Vereist gelabelde data & specialistische kennis, biasversterking, catastrofaal vergeten
LLMOps-concepten

De ontwikkelcyclus

Ontwikkelcyclus waarin we de activiteit van keten- en agentontwikkeling toevoegden

LLMOps-concepten

De ontwikkelcyclus

Ontwikkelcyclus waarin we de activiteit RAG toevoegden

LLMOps-concepten

De ontwikkelcyclus

Ontwikkelcyclus waarin we de activiteit fine-tuning toevoegden

LLMOps-concepten

Laten we oefenen!

LLMOps-concepten

Preparing Video For Download...