Défis de la modélisation du langage

Concepts sur les grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

L'ordre compte !

 

  • Je ne mène que une vie saine.

 

 

  • Position différente = sens différent

 

  • Moi seul mène une vie saine.

Illustration d'une personne avec deux flèches en sens opposés et un point d'interrogation au-dessus de la tête.

1 Freepik
Concepts sur les grands modèles de langage (LLM)

Modélisation du contexte

Une image montrant que le mot « Run » peut avoir plusieurs sens selon le contexte.

Concepts sur les grands modèles de langage (LLM)

Modélisation du contexte

Une image où « Run » signifie faire du jogging.

Concepts sur les grands modèles de langage (LLM)

Modélisation du contexte

Une image où « Run » signifie gérer ou organiser.

Concepts sur les grands modèles de langage (LLM)

Modélisation du contexte

Une image où « Run » signifie faire fonctionner une machine

Concepts sur les grands modèles de langage (LLM)

Modélisation du contexte

Ajout de contexte à l'image précédente : différents sens appuyés par des exemples.

Concepts sur les grands modèles de langage (LLM)

Dépendance à longue portée

 

  • Relever et relier des mots éloignés dans une phrase
  • Difficile pour les modèles classiques

Exemple de dépendance à longue portée : « Le livre que la jeune fille, qui revenait tout juste de ses vacances, a déposé avec soin sur l'étagère était assez lourd. »

Concepts sur les grands modèles de langage (LLM)

Apprentissage monotâche

Une image montrant trois exemples d'apprentissage monotâche : légendage d'images, résumé de texte et traduction.

  • Coûteux en temps et en ressources
  • Moins flexible que les LLM modernes
Concepts sur les grands modèles de langage (LLM)

Apprentissage multitâche

Une image montrant l'apprentissage multitâche qui combine plusieurs capacités dans un seul modèle.

  • Meilleures performances par tâche
  • Peut nuire à la précision et à l'efficacité
  • Moins de données d'entraînement grâce au partage
Concepts sur les grands modèles de langage (LLM)

En résumé

Défis de la modélisation du langage :

  • Séquences de mots

 

  • Compréhension du contexte

 

  • Dépendance à longue portée

Apprentissage monotâche :

  • Spécifique à une tâche
  • Moins flexible
  • Modèles classiques et premiers LLM

 

Apprentissage multitâche :

  • Polyvalent
  • Multiples tâches
  • LLM plus évolués
Concepts sur les grands modèles de langage (LLM)

Passons à la pratique !

Concepts sur les grands modèles de langage (LLM)

Preparing Video For Download...