Défis de la modélisation linguistique

Concepts des grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

L'ordre est important !

 

  • Je mène seulement un style de vie sain.

 

 

  • Différentes positions = différentes significations

 

  • Seulement, je mène un style de vie sain.

Illustration d'une personne avec deux flèches dans des directions opposées et un point d'interrogation au-dessus de sa tête.

1 Freepik
Concepts des grands modèles de langage (LLM)

Modélisation contextuelle

Une image représentant le mot « Run » peut avoir plusieurs significations selon le contexte.

Concepts des grands modèles de langage (LLM)

Modélisation contextuelle

Une image représentant le mot « Run » pour désigner le jogging.

Concepts des grands modèles de langage (LLM)

Modélisation contextuelle

Une image représentant le mot « Run » pour signifier gérer ou organiser.

Concepts des grands modèles de langage (LLM)

Modélisation contextuelle

Une image illustrant le mot « Run » (Faire fonctionner) pour désigner l'utilisation d'une machine

Concepts des grands modèles de langage (LLM)

Modélisation contextuelle

Ajouter davantage de contexte à l'image précédente en illustrant différentes significations contextuelles à l'aide d'exemples.

Concepts des grands modèles de langage (LLM)

Dépendance des mots éloignés

 

  • Identifier et relier des mots éloignés dans une phrase
  • Un défi pour les modèles de langage traditionnels

Exemple de dépendance de mots éloignés : « Le livre que la jeune fille, qui venait de rentrer de vacances, posa soigneusement sur l'étagère était assez lourd. »

Concepts des grands modèles de langage (LLM)

Apprentissage monotâche

Une image présentant trois exemples d'apprentissage monotâche, tels que la légende d'images, le résumé de textes et la traduction linguistique.

  • Coûteux en temps et en ressources
  • Moins flexible par rapport aux LLM modernes
Concepts des grands modèles de langage (LLM)

Apprentissage multitâche

Une image illustrant l'apprentissage multitâche combinant plusieurs capacités dans un seul modèle.

  • Amélioration des performances pour chaque tâche individuelle
  • Pourrait avoir un impact sur la précision et l'efficacité
  • Moins de données d'entraînement nécessaires, car les données sont partagées
Concepts des grands modèles de langage (LLM)

Récapitulons :

Défis liés à la modélisation linguistique :

  • Séquences de mots

 

  • Comprendre le contexte

 

  • Dépendance des mots éloignés

Apprentissage monotâche :

  • Spécifique à la tâche
  • Moins flexible
  • Modèles traditionnels et premiers LLM

 

Apprentissage multitâche :

  • Polyvalent
  • Multitâche
  • LLM plus développés
Concepts des grands modèles de langage (LLM)

Passons à la pratique !

Concepts des grands modèles de langage (LLM)

Preparing Video For Download...