Wdrożenie

Koncepcje LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cykl życia LLM: wdrożenie

Przegląd faz cyklu życia aplikacji LLM

Koncepcje LLMOps

Przejście do wdrożenia

 

 

Zabawna ilustracja z postaciami z kreskówek ciągnącymi skrzynię

 

 

  • Nie ma jednego uniwersalnego rozwiązania!
  • Aplikacja może zawierać logikę łańcucha/agenta, bazę wektorową, LLM i inne
  • Każdy komponent musi być wdrożony i współpracować z pozostałymi
Koncepcje LLMOps

Krok 1: Wybór hostingu

  • Chmura prywatna/publiczna lub hosting lokalny
  • Wielu dostawców chmury oferuje rozwiązania do hostingu i wdrażania LLM

Hosting

Koncepcje LLMOps

Krok 2: Projekt API

  • API umożliwiają komunikację między systemami
  • Projekt wpływa na skalowalność, koszty i infrastrukturę
  • Bezpieczeństwo jest kluczowe – kontrolowane kluczami API!

Projekt API

Koncepcje LLMOps

Krok 3: Sposób uruchamiania

  • Opcje:

    1. Kontenery
    2. Funkcje bezserwerowe
    3. Zarządzane usługi chmurowe

  • Zalety/wady: koszty, skalowalność, wydajność i elastyczność

Logo Docker

Architektura wykonania

Koncepcje LLMOps

CI/CD

Ciągła integracja (CI):

  1. Źródło: Pobranie kodu źródłowego
  2. Budowa: Utworzenie obrazu kontenera z kodem
  3. Testy: Wykonanie testów integracyjnych
  4. Rejestracja: Zapisanie kontenera w rejestrze

Ciągłe wdrażanie (CD):

  1. Pobranie: Pobranie kontenera z rejestru
  2. Testy: Wykonanie testów wdrożeniowych
  3. Wdrożenie: Wdrożenie kontenera w środowiskach:
    • Staging
    • Produkcja
Koncepcje LLMOps

Skalowanie

 

Zabawna ilustracja z postaciami z kreskówek budującymi wielkiego robota

 

  • Modele LLM mogą wymagać specjalistycznego sprzętu GPU.

  • Strategie skalowania:

    1. Poziome: Dodawanie kolejnych maszyn
    2. Pionowe: Rozbudowa jednej maszyny

  • Poziome przy ruchu, pionowe dla niezawodności i szybkości

Koncepcje LLMOps

Czas na ćwiczenia!

Koncepcje LLMOps

Preparing Video For Download...