Kostenmanagement

LLMOps-Konzepte

Max Knobbout, PhD

Applied Scientist, Uber

LLM‑Lebenszyklus: Kostenmanagement

Übersicht der Phasen im LLM‑Anwendungslebenszyklus

LLMOps-Konzepte

Kostenmanagement

Verspielte Illustration: Cartoon mit Kostenumschlägen

 

  • Fokus auf Modellkosten
  • Kosten können durch Hosting und/oder Nutzung steigen
    • Bei Self-Hosting entstehen Kosten durchs Hosting
    • Bei externem Hosting durch die Nutzung
LLMOps-Konzepte

LLM-Kosten aufschlüsseln

Self-Hosted (Open Source)

  • Cloud:
    • Dauer, die der Server läuft
  • On-Premises:
    • Hardwarekosten
    • Wartung und Strom

Extern gehostet (proprietär)

  • Proprietär:
    • Anzahl der Aufrufe
    • Anzahl Tokens pro Aufruf
LLMOps-Konzepte

Strategie 1: Das richtige Modell wählen

 

Verspielte Illustration: Cartoon wählt einen Stern aus

 

 

  • Günstigstes Modell nutzen, das die Aufgabe erfüllt
  • Mehrere kleinere, aufgaben­spezifische Modelle nutzen
  • Bei Self-Hosting: Methoden zur Modellverkleinerung erwägen
LLMOps-Konzepte

Strategie 2: Prompts optimieren

 

Verspielte Illustration: Cartoon zeichnet eine Idee

 

 

  • Automatische Prompt-Komprimierung nutzen
  • Inhalte reduzieren:
    • „Chat-Speicher“ optimieren
    • RAG so anpassen, dass weniger Ergebnisse kommen
LLMOps-Konzepte

Strategie 3: Anzahl der Aufrufe optimieren

 

 

Verspielte Illustration: Cartoon zählt Umschläge am Boden

 

  • Batching einsetzen
  • Antwort-Caching nutzen (falls möglich)
  • Agentenaufrufe optimieren (und begrenzen)
  • Quoten und Rate Limits setzen
  • Aufgaben ohne LLM prüfen
LLMOps-Konzepte

Kostenmetriken und Prognose

 

  • Wichtig zu tracken:
    • Bei Self-Hosting: Kosten pro Maschine pro Zeiteinheit
    • Bei externem Hosting: Kosten pro Sitzung
  • Wachstumsprognose: Nutzerbasis und Kosten skalieren verstehen

Verspielte Illustration: Cartoon zeigt auf ein Balkendiagramm

LLMOps-Konzepte

Lass uns üben!

LLMOps-Konzepte

Preparing Video For Download...