Övervakning och observerbarhet

LLMOps-koncept

Max Knobbout, PhD

Applied Scientist, Uber

LLM-livscykeln: Övervakning och observerbarhet

Översikt över LLM-applikationslivscykelns faser

LLMOps-koncept

Övervakning och observerbarhet

 

Lekfull bild av en seriefigur som observerar olika föremål

 

  • Övervakning bevakar ett system kontinuerligt.
  • Observerbarhet synliggör interna tillstånd för externa observatörer.
  • Datakällor för observerbarhet:
    1. Loggar
    2. Mätvärden
    3. Spårningar
LLMOps-koncept

Indataövervakning

  • Övervaka indata för:
    • Förändringar
    • Fel
    • Skadligt innehåll
  • Datadrift är förändringen i indatadistributionen över tid
  • Att hantera datadrift kräver:
    • Övervakning av datadistributionen
    • Regelbunden uppdatering av modellen

Indataövervakning

LLMOps-koncept

Funktionell övervakning

  • Exempel:

    • Svarstid
    • Begäransvolym
    • Driftstopp
    • Felfrekvens

  • För LLM-applikationer:

    • Körning av kedjor och agenter
    • Systemresurser (GPU)
    • Kostnader

Funktionell övervakning

LLMOps-koncept

Utdataövervakning

  • Använd mätvärden från testfasen, till exempel:
    • Bias
    • Toxicitet
    • Användbarhet
  • Modelldrift:
    • Relationen mellan indata och utdata förändras
  • Censurering innebär aktiv intervention

Utdataövervakning

LLMOps-koncept

Larmhantering

 

 

Lekfull bild av en seriefigur som åtgärdar varningar

 

 

  • Få meddelanden när problem uppstår
  • Ha tydliga rutiner
  • Servicenivåavtal (SLA) kan finnas på plats
LLMOps-koncept

Nu kör vi en övning!

LLMOps-koncept

Preparing Video For Download...