Monitoring en observeerbaarheid

LLMOps-concepten

Max Knobbout, PhD

Applied Scientist, Uber

LLM-levenscyclus: monitoring en observeerbaarheid

Overzicht van de fasen in de LLM-applicatielevenscyclus

LLMOps-concepten

Monitoring en observeerbaarheid

 

Speelse afbeelding van een cartoon die items observeert

 

  • Monitoring houdt een systeem continu in de gaten.
  • Observeerbaarheid toont interne status aan externe waarnemers.
  • Databronnen voor observeerbaarheid:
    1. Logs
    2. Metrics
    3. Traces
LLMOps-concepten

Inputmonitoring

  • Monitor inputs op:
    • Wijzigingen
    • Fouten
    • Kwaadaardige content
  • Datadrift is verandering in inputdistributie over tijd
  • Aanpakken van datadrift vereist:
    • Monitoring van de datadistributie
    • Periodieke modelupdates

Inputmonitoring

LLMOps-concepten

Functionele monitoring

  • Voorbeelden:

    • Responstijd
    • Verzoekvolume
    • Downtime
    • Foutpercentages

  • Voor LLM-applicaties:

    • Chain- en agentuitvoering
    • Systeemresources (GPU)
    • Kosten

Functionele monitoring

LLMOps-concepten

Outputmonitoring

  • Gebruik tijdens tests gedefinieerde metrics, zoals:
    • Bias
    • Toxiciteit
    • Helpzaamheid
  • Modeldrift:
    • Relatie tussen input en output verandert
  • Censoring is actief ingrijpen

Monitoring van output

LLMOps-concepten

Alertafhandeling

 

 

Speelse afbeelding van een cartoon die alerts oplost

 

 

  • Krijg meldingen bij issues
  • Hanteer duidelijke procedures
  • Mogelijk zijn Service Level Agreements (SLA’s) van kracht
LLMOps-concepten

Laten we oefenen!

LLMOps-concepten

Preparing Video For Download...