Idéfas

LLMOps-koncept

Max Knobbout, PhD

Applied Scientist, Uber

LLM-livscykel: idéfas

Översikt över faserna i LLM-applikationens livscykel

LLMOps-koncept

Datainsamling

 

Lekfull bild av en tecknad figur som håller upp olika datakällor

 

  • Identifiera behov

 

  • Hitta källor

 

  • Säkerställa tillgänglighet
LLMOps-koncept

Datainsamling

 

Lekfull bild av en tecknad figur som håller upp olika datakällor

  1. Är data relevant?
  2. Är data tillgänglig?
    • Transformera data
    • Sätt upp ytterligare databaser
    • Utvärdera kostnader
    • Beakta andra åtkomstbegränsningar
  3. Uppfyller data standarder?
    • Gäller kvalitet och styrning
LLMOps-koncept

Välja basmodell

  • Förtränade modeller:

Bild av en förtränad modell

  • Proprietär eller öppen källkod?
LLMOps-koncept

Proprietära modeller (privatägda)

Fördelar:

  • Enkel installation och användning
  • Kvalitetssäkring
  • Tillförlitlighet, hastighet och tillgänglighet

 

Begränsningar:

  • Kräver att data exponeras
  • Anpassningsmöjligheter

Exempel:

Logotyper för proprietära LLM-modeller

LLMOps-koncept

Öppen källkod (allmänt tillgänglig)

Fördelar:

  • Intern hosting
  • Transparens
  • Full anpassningsbarhet

 

Begränsningar:

  • Support
  • Kommersiell användning

 

Exempel: Logotyp för Meta Llama 3

 

Nedladdningsbar från: Logotyp för Hugging Face

LLMOps-koncept

Faktorer vid modellval

1. Prestanda ⭐

  • Svarskvalitet
  • Hastighet

Ikoner relaterade till prestanda

2. Modellens egenskaper ⭐

  • Data som använts för att träna modellen
  • Kontextfönstrets storlek
  • Finjusterbarhet

Ikoner relaterade till modellens egenskaper

LLMOps-koncept

Faktorer vid modellval

3. Praktiska överväganden ⭐

  • Licens
  • Kostnad
  • Miljöpåverkan

Ikoner relaterade till praktiska överväganden

4. Sekundära faktorer

  • Antal parametrar
  • Popularitet

Ikoner relaterade till sekundära faktorer

LLMOps-koncept

Nu kör vi en övning!

LLMOps-koncept

Preparing Video For Download...