RAG a dostrajanie

Koncepcje LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cykl życia LLM: RAG a dostrajanie

Przegląd faz cyklu życia aplikacji LLM

Koncepcje LLMOps

Retrieval Augmented Generation (RAG)

Zabawna kreskówka używająca banana do zasilania tabletu

 

  • Łączy możliwości wnioskowania LLM z zewnętrzną wiedzą.

  • Trzy kroki w łańcuchu:

    1. Pobieranie powiązanych dokumentów
    2. Augmentacja promptu przykładami
    3. Generowanie odpowiedzi

  • Często implementowane z użyciem baz wektorowych.

Koncepcje LLMOps

Łańcuch RAG z bazą wektorową

  1. Pobieranie:
    • Konwersja danych wejściowych na embedding
    • Przeszukiwanie bazy wektorowej
    • Pobieranie najbardziej podobnych dokumentów

Łańcuch pobierania

Koncepcje LLMOps

Łańcuch RAG z bazą wektorową

  1. Pobieranie:
    • Generowanie embeddingu z danych wejściowych
    • Przeszukiwanie bazy wektorowej
    • Pobieranie najbardziej podobnych dokumentów
  2. Augmentacja:
    • Łączy dane wejściowe z dokumentami, tworząc końcowy prompt

Łańcuch augmentacji

Koncepcje LLMOps

Łańcuch RAG z bazą wektorową

  1. Pobieranie:
    • Generowanie embeddingu z danych wejściowych
    • Przeszukiwanie bazy wektorowej
    • Pobieranie najbardziej podobnych dokumentów
  2. Augmentacja:
    • Łączenie danych wejściowych z dokumentami top-k i tworzenie rozszerzonego promptu
  3. Generowanie:
    • Używa promptu do stworzenia odpowiedzi

Wiele możliwości implementacji i modeli embeddingów. Eksperymentuj i testuj!

Łańcuch generowania

Koncepcje LLMOps

Dostrajanie

 

Zabawny obrazek z postacią przymierzającą dopasowany garnitur

 

 

  • Dostosowuje wagi LLM
  • Rozszerza możliwości na nowe zadania i domeny:
    • Inne języki
    • Dziedziny specjalistyczne
Koncepcje LLMOps

Dostrajanie

Nadzorowane dostrajanie                             (transfer learning)

Wymagany typ danych 📂:

  • Dane demonstracyjne (dane wejściowe z oczekiwanymi wyjściami)

Uczenie przez wzmacnianie z informacją zwrotną od ludzi (RLHF)

Wymagany typ danych 📂:

  • Rankingi lub oceny jakości (na podstawie polubień i odrzuceń)

Podejście 🔍:

  • Ponowne trenowanie (części) modelu

Podejście 🔍:

  • Trenowanie dodatkowego modelu nagród
  • Optymalizacja oryginalnego LLM w celu jego maksymalizacji
Koncepcje LLMOps

RAG czy dostrajanie

RAG
  • Stosuj przy uwzględnianiu wiedzy faktycznej
  • ✅ Zachowuje możliwości LLM, łatwe wdrożenie, zawsze aktualne
  • ❌ Dodaje komponenty, wymaga starannej inżynierii

Zabawna kreskówka używająca banana do zasilania tabletu

Zabawny obrazek z postacią przymierzającą dopasowany garnitur

Dostrajanie
  • Stosuj przy specjalizacji w nowej domenie
  • ✅ Pełna kontrola, brak dodatkowych komponentów
  • ❌ Wymaga danych z etykietami i wiedzy specjalistycznej, ryzyko wzmocnienia błędów i katastrofalnego zapominania
Koncepcje LLMOps

Cykl rozwoju

Cykl rozwoju z dodanym etapem tworzenia łańcuchów i agentów

Koncepcje LLMOps

Cykl rozwoju

Cykl rozwoju z dodanym etapem RAG

Koncepcje LLMOps

Cykl rozwoju

Cykl rozwoju z dodanym etapem dostrajania

Koncepcje LLMOps

Czas na ćwiczenia!

Koncepcje LLMOps

Preparing Video For Download...