RAG versus fine-tuning

Koncepty LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Životní cyklus LLM: RAG versus fine-tuning

Přehled fází životního cyklu LLM aplikace

Koncepty LLMOps

Retrieval Augmented Generation (RAG)

Hravá kresba postavy napájející tablet banánem

 

  • Kombinuje schopnosti uvažování LLM s externími znalostmi.

  • Tři kroky v řetězci:

    1. Retrieve – načtení souvisejících dokumentů
    2. Augment – rozšíření promptu o příklady
    3. Generate – generování výstupu

  • Často implementováno pomocí vektorových databází.

Koncepty LLMOps

RAG řetězec s vektorovou databází

  1. Retrieve:
    • Převod vstupu na embedding
    • Prohledání vektorové databáze
    • Načtení nejpodobnějších dokumentů

Řetězec načítání

Koncepty LLMOps

RAG řetězec s vektorovou databází

  1. Retrieve:
    • Generování embeddingu ze vstupu
    • Prohledání vektorové databáze
    • Načtení nejpodobnějších dokumentů
  2. Augment:
    • Kombinace vstupu s dokumenty pro vytvoření finálního promptu

Řetězec rozšíření

Koncepty LLMOps

RAG řetězec s vektorovou databází

  1. Retrieve:
    • Generování embeddingu ze vstupu
    • Prohledání vektorové databáze
    • Načtení nejpodobnějších dokumentů
  2. Augment:
    • Kombinace vstupu s top-k dokumenty a vytvoření rozšířeného promptu
  3. Generate:
    • Použití promptu k vytvoření výstupu

Mnoho možností implementace a modelů embeddingů. Experimentujte a testujte!

Řetězec generování

Koncepty LLMOps

Fine-tuning

 

Hravý obrázek kreslené postavy, která dostává doladěný oblek

 

 

  • Upravuje váhy LLM
  • Rozšíření na specifické úlohy a domény:
    • Různé jazyky
    • Specializované obory
Koncepty LLMOps

Fine-tuning

Supervised fine-tuning                             (transfer learning)

Potřebný typ dat 📂:

  • Ukázková data (vstupy s požadovanými výstupy)

Reinforcement Learning from Human Feedback (RLHF)

Potřebný typ dat 📂:

  • Hodnocení nebo skóre kvality (z lajků a nelíbí se)

Přístup 🔍:

  • Přetrénování (částí) modelu

Přístup 🔍:

  • Trénování dodatečného reward modelu
  • Optimalizace původního LLM pro jeho maximalizaci
Koncepty LLMOps

RAG nebo fine-tuning

RAG
  • Použití při zahrnutí faktických znalostí
  • ✅ Zachovává schopnosti LLM, snadná implementace, vždy aktuální
  • ❌ Přidává komponenty, vyžaduje pečlivé inženýrství

Hravá kresba postavy napájející tablet banánem

Hravý obrázek kresleně postavy, která dostává doladěný oblek

Fine-tuning
  • Použití při specializaci na novou doménu
  • ✅ Plná kontrola bez dodatečných komponent
  • ❌ Vyžaduje označená data a specializované znalosti, riziko zesílení předsudků a katastrofálního zapomínání
Koncepty LLMOps

Vývojový cyklus

Vývojový cyklus s přidanou aktivitou vývoje řetězců a agentů

Koncepty LLMOps

Vývojový cyklus

Vývojový cyklus s přidanou aktivitou RAG

Koncepty LLMOps

Vývojový cyklus

Vývojový cyklus s přidanou aktivitou fine-tuningu

Koncepty LLMOps

Pojďme si procvičit!

Koncepty LLMOps

Preparing Video For Download...