Test

Concepts de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cycle de vie LLM : Test

Aperçu des phases du cycle de vie d'une application LLM

Pourquoi devons-nous procéder à des tests ?

Les LLM commettent des erreurs
Les tests sont essentiels pour évaluer si l’application est prête pour le déploiement
Nous aborderons l’évaluation du résultat

Test des applications : ML traditionnel vs LLM

Machine learning supervisé traditionnel :

Besoin de données d’entraînement et de test étiquetées
Indicateurs axés sur la précision ou la proximité de la cible

Image d’un ensemble d’entraînement et de test pour l’apprentissage automatique traditionnel

Applications LLM :

Besoin de données de test, pas forcément étiquetées
Qualité des résultats selon différents indicateurs

Image d'un train de données et d'un ensemble de test pour les applications LLM

Étape 1 : Élaboration d'un jeu de test

La création du jeu de test devrait maintenant être terminée
Les données de test doivent refléter fidèlement les scénarios réels
Divers outils peuvent nous aider dans ce processus

Étape 2 : Choisir notre métrique

S'il existe une réponse correcte...

... utiliser des métriques de machine learning. Exemple :
- Exactitude

Organigramme pointant vers "Utiliser les métriques ML"

Étape 2 : Choisir notre métrique

S'il existe une réponse de référence...

... utiliser des méthodes statistiques.
... utiliser des méthodes basées sur des modèles. Exemple :
- LLM juges

Organigramme pointant vers "Utiliser des métriques de comparaison de texte"

Étape 2 : Choisir notre métrique

Si nous avons accès à des retours humains...

... laisser les humains évaluer le texte. Exemples :
- Évaluer la qualité
- Évaluer la pertinence
- Évaluer la cohérence
... utiliser une approche basée sur un modèle. Exemple :
- Prédit la note sur la base des retours précédents
- Demander au LLM juge si les retours ont été pris en compte

Organigramme pointant vers "Utiliser les métriques de score de feedback"

Étape 2 : Choisir notre métrique

S'il n'y a pas de retour humain...

... utiliser des métriques non supervisées. Exemples :
- Cohérence
- Fluidité
- Diversité

Organigramme pointant vers "Utiliser des métriques non supervisées"

Étape 3 : Définir des métriques secondaires facultatives

Caractéristiques de sortie :

🎭 Biais
☠ Toxicité
🤝 Utilité

Caractéristiques opérationnelles :

⏱ Latence
💰 Coût total engagé
💻 Utilisation de la mémoire

Le cycle de développement

Cycle de développement incluant l’activité d’ajustement fin

Le cycle de développement

Cycle de développement avec ajout de l’activité de test

Le cycle de développement

Cycle de développement avec ajout de l’activité de test

Le cycle de développement

Cycle de développement avec ajout de l’activité de déploiement

Passons à la pratique !

Concepts de LLMOps

Test

Cycle de vie LLM : Test

Pourquoi devons-nous procéder à des tests ?

Test des applications : ML traditionnel vs LLM

Étape 1 : Élaboration d'un jeu de test

Étape 2 : Choisir notre métrique

Étape 2 : Choisir notre métrique

Étape 2 : Choisir notre métrique

Étape 2 : Choisir notre métrique

Étape 3 : Définir des métriques secondaires facultatives

Caractéristiques de sortie :

Caractéristiques opérationnelles :

Le cycle de développement

Le cycle de développement

Le cycle de développement

Le cycle de développement

Passons à la pratique !

Cycle de vie LLM : Test