Surveillance et observabilité

Concepts de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cycle de vie LLM : Surveillance et observabilité

Aperçu des phases du cycle de vie d'une application LLM

Surveillance et observabilité

Surveillance en continu du système.
Observabilité révèle les états internes aux observateurs externes.
Sources de données pour l'observabilité :
1. Journaux
2. Métriques
3. Traces

Contrôle des entrées

Surveiller les entrées à la recherche de :
- Modifications
- Erreurs
- Contenu malveillant
La dérive des données correspond à l’évolution de la distribution des données d’entrée au fil du temps
Gérer la dérive des données nécessite :
- Surveillance de la distribution des données
- Mise à jour périodique du modèle

Surveillance des entrées

Surveillance fonctionnelle

Exemples :
- Temps de réponse
- Volume de requêtes
- Temps d’arrêt
- Taux d'erreur
Pour les applications LLM :
- Exécution de chaîne et d’agent
- Ressources système (GPU)
- Coûts

Surveillance fonctionnelle

Surveillance des résultats

Utiliser les métriques définies lors des tests, telles que :
- Biais
- Toxicité
- Utilité
Dérive du modèle :
- Relation entre les modifications de l’entrée et de la sortie
La censure consiste à intervenir activement

Surveillance des résultats

Gestion des alertes

Recevoir une notification en cas de problème
Disposer de procédures claires
Des accords de niveau de service (SLA) peuvent être en vigueur

Passons à la pratique !

Concepts de LLMOps

Preparing Video For Download...