Faza ideacji

Koncepcje LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cykl życia LLM: faza ideacji

Przegląd faz cyklu życia aplikacji LLM

Koncepcje LLMOps

Pozyskiwanie danych

 

Ilustracja kreskówki trzymającej różne źródła danych

 

  • Identyfikacja potrzeb

 

  • Znajdowanie źródeł

 

  • Zapewnienie dostępności
Koncepcje LLMOps

Pozyskiwanie danych

 

Ilustracja kreskówki trzymającej różne źródła danych

  1. Czy dane są odpowiednie?
  2. Czy dane są dostępne?
    • Transformacja danych
    • Konfiguracja dodatkowych baz danych
    • Ocena kosztów
    • Uwzględnienie innych ograniczeń dostępu
  3. Czy dane spełniają standardy?
    • Kwestie jakości i zarządzania danymi
Koncepcje LLMOps

Wybór modelu bazowego

  • Modele wstępnie wytrenowane:

Ilustracja modelu wstępnie wytrenowanego

  • Zastrzeżony czy open-source?
Koncepcje LLMOps

Modele zastrzeżone (prywatne)

Zalety:

  • Łatwość konfiguracji i użytkowania
  • Zapewnienie jakości
  • Niezawodność, szybkość i dostępność

 

Ograniczenia:

  • Wymaga ujawnienia danych
  • Możliwości dostosowania

Przykłady:

Logo modeli zastrzeżonych LLM

Koncepcje LLMOps

Open-source (publicznie dostępne)

Zalety:

  • Hosting wewnętrzny
  • Przejrzystość
  • Pełna konfigurowalność

 

Ograniczenia:

  • Wsparcie
  • Użytek komercyjny

 

Przykład: Logo Meta Llama 3

 

Do pobrania z: Logo Hugging Face

Koncepcje LLMOps

Kryteria wyboru modelu

1. Wydajność ⭐

  • Jakość odpowiedzi
  • Szybkość

Ikony związane z wydajnością

2. Charakterystyka modelu ⭐

  • Dane użyte do trenowania modelu
  • Rozmiar okna kontekstowego
  • Możliwość dostrajania

Ikony związane z charakterystyką modelu

Koncepcje LLMOps

Kryteria wyboru modelu

3. Aspekty praktyczne ⭐

  • Licencja
  • Koszt
  • Wpływ na środowisko

Ikony związane z aspektami praktycznymi

4. Czynniki drugorzędne

  • Liczba parametrów
  • Popularność

Ikony związane z czynnikami drugorzędnymi

Koncepcje LLMOps

Czas na ćwiczenia!

Koncepcje LLMOps

Preparing Video For Download...