Présentation du Transformer

Concepts des grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

Où sommes-nous ?

Tableau de progression indiquant que nous sommes en phase d'apprentissage du Transformer

Concepts des grands modèles de langage (LLM)

Qu'est-ce qu'un Transformer ?

  • « L'attention est tout ce dont vous avez besoin »
    • Modélisation linguistique innovante

 

  • Architecture de Transformer
    • Relation entre les mots
    • Composants : Pré-traitement, encodage positionnel, encodeurs et décodeurs

Extrait de l'article « L'attention est tout ce dont vous avez besoin »

1 arXiv : L'attention est tout ce dont vous avez besoin
Concepts des grands modèles de langage (LLM)

À l'intérieur du Transformer

 

  • Entrée : Jane, qui réside à New York et occupe un poste dans le domaine des logiciels

 

Composants internes et flux de données à l'intérieur d'un Transformer

 

  • Sortie : ingénieure, apprécie découvrir de nouveaux restaurants dans la ville.
Concepts des grands modèles de langage (LLM)

Les Transformers sont comparables à un orchestre.

Image d'un orchestre

Concepts des grands modèles de langage (LLM)

Pré-traitement et représentation du texte

  • Pré-traitement du texte : tokenisation, suppression des mots vides, lemmatisation
  • Représentation textuelle : plongement lexical

Mise en évidence du premier composant d'un Transformer et quelques remarques individuelles

Concepts des grands modèles de langage (LLM)

Encodage positionnel

  • Informations sur la position de chaque mot
  • Comprendre les mots éloignés

Mise en évidence du deuxième composant d'un Transformer et d'un morceau de musique

Concepts des grands modèles de langage (LLM)

Encodeurs

  • Mécanisme d'attention : dirige l'attention vers des mots et des relations spécifiques.
  • Réseau neuronal : traiter des caractéristiques spécifiques

Encodeur dans le flux du Transformer

Concepts des grands modèles de langage (LLM)

Décodeurs

  • Comprend l'attention et les réseaux neuronaux
  • Génère la sortie

Composant du décodeur d'un Transformer

Concepts des grands modèles de langage (LLM)

Transformers et dépendances de mots éloignés

 

  • Défi initial : dépendance des mots éloignés
  • Attention : se concentre sur les différentes parties de l'entrée.

 

  • Exemple : « Jane, qui réside à New York et occupe le poste d'ingénieure en informatique, apprécie découvrir de nouveaux restaurants dans la ville. »

  • « Jane » — « apprécie découvrir de nouveaux restaurants »

Concepts des grands modèles de langage (LLM)

Traite plusieurs parties en même temps

  • Limites des modèles de langage traditionnels :
    • Séquentiel - un mot à la fois

 

  • Transformers :
    • Traitent plusieurs parties à la fois
    • Traitement plus rapide

 

  • Par exemple :
    • « Le chat s'est assis sur le tapis. »
    • Traite simultanément les mots « chat », « assis », « sur », « le » et « tapis ».
Concepts des grands modèles de langage (LLM)

Passons à la pratique !

Concepts des grands modèles de langage (LLM)

Preparing Video For Download...