Évaluation des modèles

Concepts en IA générative

Daniel Tedesco

Data Lead, Google

Pourquoi évaluer ?

Évaluer le rendement et l'efficacité d'un modèle :

Mesurer les progrès
Comparer rigoureusement les modèles
Étalonner face aux performances humaines

Évaluer les IA génératives

Mesures quantitatives

Des nombres représentant des mesures quantitatives

Indicateurs d'évaluation des modèles discriminatifs
Indicateurs propres aux modèles génératifs

Mesures centrées sur l'humain

Bulles de conversation représentant des mesures centrées sur l'humain

Comparaison aux performances humaines
Évaluation intelligente

Techniques d'évaluation des modèles discriminatifs

Mesurer la performance sur des tâches bien définies

Avantages :

Largement acceptées et comprises
Faciles à calculer et à comparer

Limites :

Ne rendent pas la subjectivité du contenu généré

Une cible avec des fléchettes près du centre.

Mesures propres aux modèles génératifs

Adaptées à des tâches génératives particulières

Avantages :

Critères nuancés : réalisme, diversité, nouveauté
Plusieurs mesures reconnues

Limites :

Ne captent pas de nombreux éléments subjectifs
Se généralisent mal

Illustrations de vaches.

Comparaison aux performances humaines

Avantages :

Références par rapport aux capacités humaines
Montre l'applicabilité pratique

Limites :

Comparaison parfois inéquitable

Une IA en concurrence avec un humain.

IA primées

Compétitions humaines

Œuvre d'art générée par IA ayant remporté un prix, avec son ruban bleu gagnant

Tests standardisés humains

Un graphique montrant la performance de GPT-4 à plusieurs tests standardisés humains. Il surpasse la plupart des étudiants à des tests connus comme l'Uniform Bar Exam et le GRE.

¹ https://twitter.com/colostatefair/status/1565486317839863809, OpenAI

La référence absolue

Évaluation intelligente par des humains ou d'autres IA

Avantages :

Rend les aspects subjectifs

Limites :

Lente, coûteuse et difficile à normaliser
Soumise aux biais et à l'irrégularité humains

Le test classique de Turing

Proposé par l'informaticien Alan Turing
Un évaluateur humain juge le contenu généré par l'IA
Réussi si l'évaluateur ne distingue pas l'IA d'un humain
Mais le comportement humain n'est pas toujours la bonne référence

Une représentation de la configuration du test de Turing, avec un évaluateur humain, un écran d'ordinateur affichant du contenu généré par l'IA et un contenu généré par un humain, illustrant le processus de distinction entre les deux.

Passons à la pratique !

Concepts en IA générative