Monitoraggio e osservabilità

Concetti di LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo di vita LLM: monitoraggio e osservabilità

Panoramica delle fasi del ciclo di vita delle app LLM

Concetti di LLMOps

Monitoraggio e osservabilità

 

Immagine giocosa di un cartone che osserva oggetti

 

  • Il monitoraggio osserva il sistema in modo continuo.
  • L'osservabilità rende visibili agli esterni gli stati interni.
  • Fonti dati per l'osservabilità:
    1. Log
    2. Metriche
    3. Tracce
Concetti di LLMOps

Monitoraggio degli input

  • Monitora gli input per:
    • Variazioni
    • Errori
    • Contenuti dannosi
  • Il data drift è il cambiamento della distribuzione degli input nel tempo
  • Per gestirlo servono:
    • Monitorare la distribuzione dei dati
    • Aggiornare periodicamente il modello

Monitoraggio degli input

Concetti di LLMOps

Monitoraggio funzionale

  • Esempi:

    • Tempo di risposta
    • Volume richieste
    • Downtime
    • Tassi di errore

  • Per app LLM:

    • Esecuzione di chain e agent
    • Risorse di sistema (GPU)
    • Costi

Monitoraggio funzionale

Concetti di LLMOps

Monitoraggio dell'output

  • Usa metriche definite nei test, ad esempio:
    • Bias
    • Tossicità
    • Utilità
  • Drift del modello:
    • Cambia la relazione tra input e output
  • La censura implica intervenire attivamente

Monitoraggio dell'output

Concetti di LLMOps

Gestione degli alert

 

 

Immagine giocosa di un cartone che sistema avvisi

 

 

  • Ricevi notifiche quando emergono problemi
  • Procedure chiare
  • Possibili SLA (Service-Level Agreement)
Concetti di LLMOps

Passiamo alla pratica!

Concetti di LLMOps

Preparing Video For Download...