Monitorizare și observabilitate

Concepte LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclul de viață LLM: Monitorizare și observabilitate

Prezentare generală a fazelor ciclului de viață al aplicației LLM

Concepte LLMOps

Monitorizare și observabilitate

 

Imagine ilustrativă cu un personaj de desen animat care observă obiecte

 

  • Monitorizarea supraveghează continuu un sistem.
  • Observabilitatea dezvăluie stările interne observatorilor externi.
  • Surse de date pentru observabilitate:
    1. Jurnale
    2. Metrici
    3. Trasee
Concepte LLMOps

Monitorizarea intrărilor

  • Monitorizați intrările pentru:
    • Modificări
    • Erori
    • Conținut malițios
  • Deriva datelor reprezintă schimbarea distribuției datelor de intrare în timp
  • Abordarea derivei datelor necesită:
    • Monitorizarea distribuției datelor
    • Actualizarea periodică a modelului

Monitorizarea intrărilor

Concepte LLMOps

Monitorizare funcțională

  • Exemple:

    • Timp de răspuns
    • Volum de cereri
    • Timp de nefuncționare
    • Rate de eroare

  • Pentru aplicații LLM:

    • Execuția lanțurilor și agenților
    • Resurse de sistem (GPU)
    • Costuri

Monitorizare funcțională

Concepte LLMOps

Monitorizarea ieșirilor

  • Utilizați metrici definite în testare, precum:
    • Bias
    • Toxicitate
    • Utilitate
  • Deriva modelului:
    • Relația dintre intrare și ieșire se modifică
  • Cenzurarea presupune intervenție activă

Monitorizarea ieșirilor

Concepte LLMOps

Gestionarea alertelor

 

 

Imagine ilustrativă cu un personaj de desen animat care gestionează alerte

 

 

  • Primiți notificări când apar probleme
  • Aveți proceduri clare
  • Pot exista Acorduri de nivel al serviciului (SLA)
Concepte LLMOps

Să exersăm!

Concepte LLMOps

Preparing Video For Download...