Présentation du transformer

Concepts sur les grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

Où en sommes-nous ?

Graphique de progression indiquant que nous en sommes à l'apprentissage des transformers

Concepts sur les grands modèles de langage (LLM)

Qu'est-ce qu'un transformer ?

  • « Attention Is All You Need »
    • A révolutionné la modélisation du langage

 

  • Architecture transformer
    • Relation entre les mots
    • Composants : prétraitement, encodage positionnel, encodeurs et décodeurs

Extrait de l'article « Attention is all you need »

1 arXiv: Attention Is All You Need
Concepts sur les grands modèles de langage (LLM)

À l'intérieur du transformer

 

  • Entrée : Jane, qui habite New York et travaille comme

 

Composants internes et flux de données dans un transformer

 

  • Sortie : engineer, adore découvrir de nouveaux restaurants en ville.
Concepts sur les grands modèles de langage (LLM)

Les transformers, c'est comme un orchestre

Image d'un orchestre

Concepts sur les grands modèles de langage (LLM)

Prétraitement et représentation du texte

  • Prétraitement du texte : tokenisation, retrait des mots vides, lemmatisation
  • Représentation du texte : plongement lexical (word embedding)

Mise en évidence du premier composant d'un transformer et de quelques notes individuelles

Concepts sur les grands modèles de langage (LLM)

Encodage positionnel

  • Information sur la position de chaque mot
  • Comprendre des mots éloignés

Mise en évidence du deuxième composant d'un transformer et d'un extrait musical

Concepts sur les grands modèles de langage (LLM)

Encodeurs

  • Mécanisme d'attention : concentre l'attention sur des mots et relations précis
  • Réseau de neurones : traite des caractéristiques spécifiques

Encodeur dans le flux du transformer

Concepts sur les grands modèles de langage (LLM)

Décodeurs

  • Inclut l'attention et des réseaux de neurones
  • Génère la sortie

Composant décodeur d'un transformer

Concepts sur les grands modèles de langage (LLM)

Transformers et dépendances à longue portée

 

  • Défi initial : dépendances à longue portée
  • Attention : se concentre sur différentes parties de l'entrée

 

  • Exemple : « Jane, qui habite New York et travaille comme software engineer, adore découvrir de nouveaux restaurants en ville. »

  • « Jane » — « adore découvrir de nouveaux restaurants »

Concepts sur les grands modèles de langage (LLM)

Traitent plusieurs parties simultanément

  • Limite des modèles de langue traditionnels :
    • Séquentiels : un mot à la fois

 

  • Transformers :
    • Traitent plusieurs parties simultanément
    • Traitement plus rapide

 

  • Par exemple :
    • « The cat sat on the mat »
    • Traite « cat », « sat », « on », « the » et « mat » en même temps
Concepts sur les grands modèles de langage (LLM)

Passons à la pratique !

Concepts sur les grands modèles de langage (LLM)

Preparing Video For Download...