RAG versus fine-tuning

Concepte LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclul de viață LLM: RAG versus fine-tuning

Prezentare generală a fazelor ciclului de viață al aplicației LLM

Concepte LLMOps

Retrieval Augmented Generation (RAG)

Desen animat ilustrativ folosind o banană pentru a alimenta o tabletă

 

  • Combină capacitățile de raționament ale LLM-urilor cu cunoștințe externe.

  • Trei pași într-un lanț:

    1. Recuperare documente relevante
    2. Augmentare prompt cu exemple
    3. Generare output

  • Adesea implementat cu baze de date vectoriale.

Concepte LLMOps

Lanț RAG cu bază de date vectorială

  1. Recuperare:
    • Conversie input în embedding
    • Căutare în baza de date vectorială
    • Recuperare documente similare

Lanț de recuperare

Concepte LLMOps

Lanț RAG cu bază de date vectorială

  1. Recuperare:
    • Generare embedding din input
    • Căutare în baza de date vectorială
    • Recuperare documente similare
  2. Augmentare:
    • Combină inputul cu documentele pentru a crea promptul final

Lanț de augmentare

Concepte LLMOps

Lanț RAG cu bază de date vectorială

  1. Recuperare:
    • Generare embedding din input
    • Căutare în baza de date vectorială
    • Recuperare documente similare
  2. Augmentare:
    • Combinare input cu top-k documente și creare prompt augmentat
  3. Generare:
    • Utilizare prompt pentru a crea un output

Multe opțiuni de implementare și modele de embedding. Experimentați și testați!

Lanț de generare

Concepte LLMOps

Fine-tuning

 

Imagine ilustrativă cu un personaj de desen animat primind un costum personalizat

 

 

  • Ajustează ponderile LLM-ului
  • Extindere spre sarcini și domenii specifice:
    • Limbi diferite
    • Domenii specializate
Concepte LLMOps

Fine-tuning

Fine-tuning supervizat                             (transfer learning)

Tip de date necesare 📂:

  • Date demonstrative (inputuri cu outputuri dorite)

Reinforcement Learning from Human Feedback (RLHF)

Tip de date necesare 📂:

  • Clasificări sau scoruri de calitate (obținute din aprecieri & dezaprobări)

Abordare 🔍:

  • Re-antrenare (a unor părți din) model

Abordare 🔍:

  • Antrenare model de recompensă suplimentar
  • Optimizare LLM original pentru a maximiza aceasta
Concepte LLMOps

RAG sau fine-tuning

RAG
  • Utilizați când includeți cunoștințe factuale
  • ✅ Păstrează capabilitățile LLM, ușor de implementat, mereu actualizat
  • ❌ Adaugă componente suplimentare, necesită inginerie atentă

Desen animat ilustrativ folosind o banană pentru a alimenta o tabletă

Imagine ilustrativă cu un personaj de desen animat primind un costum personalizat

Fine-tuning
  • Utilizați când specializați într-un domeniu nou
  • ✅ Control deplin și fără componente suplimentare
  • ❌ Necesită date etichetate și cunoștințe specializate, amplificare a părtinirilor, uitare catastrofică
Concepte LLMOps

Ciclul de dezvoltare

Ciclul de dezvoltare cu activitatea de dezvoltare a lanțurilor și agenților adăugată

Concepte LLMOps

Ciclul de dezvoltare

Ciclul de dezvoltare cu activitatea RAG adăugată

Concepte LLMOps

Ciclul de dezvoltare

Ciclul de dezvoltare cu activitatea de fine-tuning adăugată

Concepte LLMOps

Să exersăm!

Concepte LLMOps

Preparing Video For Download...