Bereitstellung

LLMOps-Konzepte

Max Knobbout, PhD

Applied Scientist, Uber

LLM-Lebenszyklus: Bereitstellung

Übersicht der Phasen im LLM-Anwendungslebenszyklus

LLMOps-Konzepte

Übergang zur Bereitstellung

 

 

Verspielte Grafik von Comicfiguren, die eine Kiste ziehen

 

 

  • Keine One-size-fits-all-Lösung!
  • Eine App kann Chain/Agent-Logik, Vektordatenbank, LLM u. mehr enthalten
  • Jedes Teil muss bereitgestellt werden und zusammenspielen
LLMOps-Konzepte

Schritt 1: Hosting wählen

  • Private/öffentliche Cloud oder On-Premises-Hosting
  • Viele Cloud-Anbieter bieten Hosting/Deployment für LLMs

Hosting

LLMOps-Konzepte

Schritt 2: API-Design

  • APIs lassen Software miteinander sprechen
  • Design beeinflusst Skalierung, Kosten und Infrastruktur
  • Sicherheit ist kritisch, gesteuert über API-Keys!

API-Design

LLMOps-Konzepte

Schritt 3: Ausführen

  • Optionen:

    1. Container
    2. Serverless-Funktionen
    3. Cloud-Managed-Services

  • Vor-/Nachteile: Kosten, Skalierung, Effizienz, Flexibilität

Docker-Logo

Ausführungsarchitektur

LLMOps-Konzepte

CI/CD

Continuous Integration (CI):

  1. Source: Quellcode abrufen
  2. Build: Container-Image mit dem Code erstellen
  3. Test: Integrationstests durchführen
  4. Register: Container im Registry speichern

Continuous Deployment (CD):

  1. Retrieve: Container aus der Registry holen
  2. Test: Deployment-Tests durchführen
  3. Deploy: Container in Umgebungen ausrollen:
    • Staging
    • Produktion
LLMOps-Konzepte

Skalierung

 

Verspielte Grafik von Comicfiguren, die einen Roboter bauen

 

  • LLMs brauchen evtl. spezialisierte GPUs.

  • Skalierungsstrategien:

    1. Horizontal: Mehr Maschinen hinzufügen
    2. Vertikal: Eine Maschine aufrüsten

  • Horizontal bei Traffic, vertikal für Zuverlässigkeit und Speed

LLMOps-Konzepte

Lass uns üben!

LLMOps-Konzepte

Preparing Video For Download...