Mécanismes d'attention

Concepts sur les grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

Mécanismes d'attention

  • Comprendre des structures complexes
  • Se concentrer sur les mots importants

 

  • Analogie de lecture :
    • Indices dans un roman policier
    • Se focaliser sur le contenu pertinent
    • Se concentrer sur les données d'entrée cruciales

Un livre ouvert avec une loupe

Concepts sur les grands modèles de langage (LLM)

Auto‑attention et attention multi‑tête

Auto‑attention

  • Pondère l'importance de chaque mot

 

  • Capte les dépendances à longue portée

Attention multi‑tête

  • Niveau supérieur de l'auto‑attention

 

  • Scinde l'entrée en plusieurs têtes, chacune se concentrant sur un aspect différent
Concepts sur les grands modèles de langage (LLM)

Attention lors d'une fête

  • Attention : auto et multi‑tête

 

  • Exemple :
    • Conversation de groupe à une fête
    • Attention sélective à l'intervenant pertinent
    • Filtrer le bruit
    • Se concentrer sur les points clés

 

personnes assises ayant une conversation de groupe

1 Freepik
Concepts sur les grands modèles de langage (LLM)

La fête continue

Auto‑attention

  • Se concentrer sur les mots de chaque personne
  • Évaluer et comparer leur pertinence
  • Pondérer l'apport de chaque interlocuteur
  • Combiner pour une compréhension globale

Attention multi‑tête

  • Diviser l'attention en « plusieurs » canaux
  • Se focaliser sur différents aspects de la conversation
  • Émotions du locuteur, sujet principal et sujets connexes
  • Traiter chaque aspect puis fusionner
Concepts sur les grands modèles de langage (LLM)

Avantages de l'attention multi‑tête

  • « The boy went to the store to buy some groceries, and he found a discount on his favorite cereal. »

 

  • Attention : « boy », « store », « groceries » et « discount »
  • Auto‑attention : « boy » et « he » -> même personne
  • Attention multi‑tête : plusieurs canaux
    • Personnage (« boy »)
    • Action (« went to the store », « found a discount »)
    • Éléments en jeu (« groceries », « cereal »)
Concepts sur les grands modèles de langage (LLM)

Passons à la pratique !

Concepts sur les grands modèles de langage (LLM)

Preparing Video For Download...