Driftsättning

LLMOps-koncept

Max Knobbout, PhD

Applied Scientist, Uber

LLM-livscykel: Driftsättning

Översikt över LLM-applikationens livscykelfaser

LLMOps-koncept

Till driftsättning

 

 

Lekfull bild av seriefigurer som drar en låda

 

 

  • Ingen universallösning!
  • En applikation kan innehålla kedja/agentlogik, vektordatabas, LLM med mera
  • Varje komponent måste driftsättas och fungera tillsammans
LLMOps-koncept

Steg 1: Val av hosting

  • Privat/offentligt moln eller lokal hosting
  • Många molnleverantörer erbjuder lösningar för LLM-hosting och driftsättning

Hosting

LLMOps-koncept

Steg 2: API-design

  • API:er låter olika system kommunicera med varandra
  • Designen påverkar skalbarhet, kostnad och infrastrukturbehov
  • Säkerhet är avgörande – styrs med API-nycklar!

API-design

LLMOps-koncept

Steg 3: Hur man kör

  • Alternativ:

    1. Containrar
    2. Serverlösa funktioner
    3. Molnhanterade tjänster

  • För- och nackdelar gällande kostnad, skalbarhet, effektivitet och flexibilitet

Docker-logotyp

Körningsarkitektur

LLMOps-koncept

CI/CD

Kontinuerlig integration (CI):

  1. Källa: Hämta källkod
  2. Bygg: Skapa en containeravbildning med koden
  3. Testa: Utför integrationstester
  4. Registrera: Lagra containern i ett register

Kontinuerlig driftsättning (CD):

  1. Hämta: Hämta container från registret
  2. Testa: Utför driftsättningstester
  3. Driftsätt: Driftsätt container i miljöer:
    • Staging
    • Produktion
LLMOps-koncept

Skalning

 

Lekfull bild av seriefigurer som bygger en stor robot

 

  • LLM:er kan kräva specialiserad GPU-hårdvara.

  • Skalningsstrategier:

    1. Horisontell: Lägg till fler maskiner
    2. Vertikal: Uppgradera en enskild maskin

  • Horisontell för trafik, vertikal för tillförlitlighet och hastighet

LLMOps-koncept

Nu kör vi en övning!

LLMOps-koncept

Preparing Video For Download...