Monitorování a pozorovatelnost

Koncepty LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Životní cyklus LLM: Monitorování a pozorovatelnost

Přehled fází životního cyklu aplikace LLM

Koncepty LLMOps

Monitorování a pozorovatelnost

 

Hravý obrázek kresleného robota pozorujícího předměty

 

  • Monitorování průběžně sleduje systém.
  • Pozorovatelnost odhaluje vnitřní stavy externím pozorovatelům.
  • Zdroje dat pro pozorovatelnost:
    1. Logy
    2. Metriky
    3. Trasování
Koncepty LLMOps

Monitorování vstupu

  • Monitorujte vstupy z hlediska:
    • Změn
    • Chyb
    • Škodlivého obsahu
  • Datový drift je změna distribuce vstupních dat v čase
  • Řešení datového driftu vyžaduje:
    • Monitorování distribuce dat
    • Pravidelnou aktualizaci modelu

Monitorování vstupu

Koncepty LLMOps

Funkční monitorování

  • Příklady:

    • Doba odezvy
    • Objem požadavků
    • Výpadky
    • Míra chyb

  • Pro aplikace LLM:

    • Provádění řetězců a agentů
    • Systémové prostředky (GPU)
    • Náklady

Funkční monitorování

Koncepty LLMOps

Monitorování výstupu

  • Používejte metriky definované při testování, například:
    • Zaujatost
    • Toxicita
    • Užitečnost
  • Drift modelu:
    • Změna vztahu mezi vstupem a výstupem
  • Cenzurování znamená aktivní zásah

Monitorování výstupu

Koncepty LLMOps

Zpracování upozornění

 

 

Hravý obrázek kresleného robota opravujícího upozornění

 

 

  • Dostávejte oznámení při výskytu problémů
  • Mějte jasné postupy
  • Mohou být nastaveny smlouvy o úrovni služeb (SLA)
Koncepty LLMOps

Pojďme si procvičit!

Koncepty LLMOps

Preparing Video For Download...