Mise à l'essai

Concepts de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cycle de vie des LLM : mise à l'essai

Aperçu des phases du cycle de vie d'une application LLM

Pourquoi tester ?

Les LLM font des erreurs
Les tests sont essentiels pour valider l'état prêt au déploiement
Nous évaluerons la sortie

ML traditionnel et mise à l'essai des applications LLM

Machine learning supervisé traditionnel :

Exige des données d'entraînement et de test étiquetées
Mesures axées sur la justesse ou la proximité de la cible

Image des ensembles d'entraînement et de test pour le ML traditionnel

Applications LLM :

Besoin de données de test, pas forcément étiquetées
Qualité de la sortie selon diverses mesures

Image des ensembles d'entraînement et de test pour les applications LLM

Étape 1 : constituer un ensemble de test

L'ensemble de test devrait maintenant être prêt
Les données de test doivent refléter fidèlement le réel
Divers outils peuvent aider dans ce processus

Étape 2 : choisir notre mesure

S'il existe une bonne réponse…

… utilisez des mesures de machine learning. Exemple :
- Justesse

Organigramme pointant vers « Utiliser des mesures de ML »

Étape 2 : choisir notre mesure

S'il existe une réponse de référence…

… utilisez des méthodes statistiques.
… utilisez des méthodes à base de modèles. Exemple :
- Juges LLM

Organigramme pointant vers « Utiliser des mesures de comparaison de texte »

Étape 2 : choisir notre mesure

Si nous avons des rétroactions humaines…

… faites noter le texte par des personnes. Exemples :
- Noter la qualité
- Noter la pertinence
- Noter la cohérence
… utilisez une approche à base de modèles. Exemple :
- Prédire la note selon les rétroactions passées
- Demander à un juge LLM si la rétroaction a été intégrée

Organigramme pointant vers « Utiliser des mesures fondées sur la rétroaction »

Étape 2 : choisir notre mesure

S'il n'y a pas de rétroaction humaine…

… utilisez des mesures non supervisées. Exemples :
- Cohérence
- Fluidité
- Diversité

Organigramme pointant vers « Utiliser des mesures non supervisées »

Étape 3 : définir des mesures secondaires (facultatives)

Caractéristiques de la sortie :

🎭 Biais
☠ Toxicité
🤝 Utilité

Caractéristiques opérationnelles :

⏱ Latence
💰 Coût total encouru
💻 Utilisation de la mémoire

Le cycle de développement

Cycle de développement auquel nous avons ajouté l'activité d'ajustement fin

Le cycle de développement

Cycle de développement auquel nous avons ajouté l'activité de mise à l'essai

Le cycle de développement

Cycle de développement auquel nous avons ajouté l'activité de mise à l'essai

Le cycle de développement

Cycle de développement auquel nous avons ajouté l'activité de déploiement

Passons à la pratique !

Concepts de LLMOps

Preparing Video For Download...