Monitoring und Observability

LLMOps-Konzepte

Max Knobbout, PhD

Applied Scientist, Uber

LLM-Lebenszyklus: Monitoring und Observability

Überblick über die Phasen des LLM-Anwendungslebenszyklus

LLMOps-Konzepte

Monitoring und Observability

 

Verspielte Grafik: Cartoon beobachtet Objekte

 

  • Monitoring überwacht ein System laufend.
  • Observability macht innere Zustände nach außen sichtbar.
  • Datenquellen für Observability:
    1. Logs
    2. Metriken
    3. Traces
LLMOps-Konzepte

Input-Monitoring

  • Eingaben überwachen auf:
    • Änderungen
    • Fehler
    • Schädliche Inhalte
  • Data Drift: Verteilung der Eingabedaten ändert sich über die Zeit
  • Gegenmaßnahmen:
    • Datenverteilung monitoren
    • Modell regelmäßig aktualisieren

Input-Monitoring

LLMOps-Konzepte

Funktionales Monitoring

  • Beispiele:

    • Antwortzeit
    • Anfragevolumen
    • Ausfallzeit
    • Fehlerraten

  • Für LLM-Anwendungen:

    • Chain- und Agent-Ausführung
    • Systemressourcen (GPU)
    • Kosten

Funktionales Monitoring

LLMOps-Konzepte

Output-Monitoring

  • Nutze Metriken aus den Tests, z. B.:
    • Bias
    • Toxizität
    • Nützlichkeit
  • Modelldrift:
    • Beziehung zwischen Input und Output ändert sich
  • Zensur bedeutet aktives Eingreifen

Output-Monitoring

LLMOps-Konzepte

Alarmbearbeitung

 

 

Verspielte Grafik: Cartoon behebt Alarme

 

 

  • Lass dich bei Problemen benachrichtigen
  • Klare Abläufe haben
  • Service Level Agreements (SLAs) können gelten
LLMOps-Konzepte

Lass uns üben!

LLMOps-Konzepte

Preparing Video For Download...