Nasazení

Koncepty LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Životní cyklus LLM: Nasazení

Přehled fází životního cyklu LLM aplikace

Koncepty LLMOps

Přechod k nasazení

 

 

Hravý obrázek kreslených postav táhnoucích krabici

 

 

  • Neexistuje univerzální řešení!
  • Aplikace může zahrnovat logiku řetězce/agenta, vektorovou databázi, LLM a další
  • Každá komponenta musí být nasazena a fungovat společně
Koncepty LLMOps

Krok 1: Volba hostingu

  • Privátní/veřejný cloud nebo hosting na vlastní infrastruktuře
  • Mnoho cloudových poskytovatelů nabízí řešení pro hosting a nasazení LLM

Hosting

Koncepty LLMOps

Krok 2: Návrh API

  • API umožňují komunikaci mezi různými systémy
  • Návrh ovlivňuje škálovatelnost, náklady a infrastrukturu
  • Bezpečnost je klíčová – řízena pomocí API klíčů!

Návrh API

Koncepty LLMOps

Krok 3: Způsob spuštění

  • Možnosti:

    1. Kontejnery
    2. Bezserverové funkce
    3. Spravované cloudové služby

  • Výhody/nevýhody: náklady, škálovatelnost, efektivita a flexibilita

Logo Docker

Architektura spuštění

Koncepty LLMOps

CI/CD

Průběžná integrace (CI):

  1. Zdroj: Načtení zdrojového kódu
  2. Sestavení: Vytvoření image kontejneru s kódem
  3. Test: Provedení integračních testů
  4. Registrace: Uložení kontejneru do registru

Průběžné nasazení (CD):

  1. Načtení: Načtení kontejneru z registru
  2. Test: Provedení testů nasazení
  3. Nasazení: Nasazení kontejneru do prostředí:
    • Staging
    • Produkce
Koncepty LLMOps

Škálování

 

Hravý obrázek kreslených postav stavějících velkého robota

 

  • LLM mohou vyžadovat specializovaný GPU hardware.

  • Strategie škálování:

    1. Horizontální: Přidání dalších strojů
    2. Vertikální: Posílení jednoho stroje

  • Horizontální pro provoz, vertikální pro spolehlivost a rychlost

Koncepty LLMOps

Pojďme si procvičit!

Koncepty LLMOps

Preparing Video For Download...