Mécanismes d'attention

Concepts des grands modèles de langage (LLM)

Vidhi Chugh

AI strategist and ethicist

Mécanismes d'attention

  • Comprennent les structures complexes
  • Se concentrent sur les mots importants

 

  • Comparaison avec le fait de lire un livre :
    • Indices dans un livre policier
    • Concentration sur le contenu pertinent
    • Concentration sur les données d'entrée essentielles

Un livre ouvert avec une loupe

Concepts des grands modèles de langage (LLM)

Self Attention et Multi Head Attention

Self Attention

  • Évalue l'importance de chaque mot

 

  • Capture les dépendances des mots même éloignés

Multi Head Attention

  • Niveau supérieur de Self Attention

 

  • Divise les données en plusieurs sections, chacune se concentrant sur différents aspects.
Concepts des grands modèles de langage (LLM)

Attention lors d'une fête

  • Attention : Self et Multi Head

 

  • Exemple :
    • Conversation de groupe lors d'une fête
    • Attention sélective portée à l'interlocuteur pertinent
    • Filtre du bruit environnant
    • Concentration sur les points essentiels

 

personnes assises et discutant en groupe

1 Freepik
Concepts des grands modèles de langage (LLM)

La fête continue

Self Attention

  • Se concentrer sur les propos d’une personne à la fois
  • Évaluer et comparer leur pertinence
  • Évaluer la contribution de chaque intervenant
  • Permet une compréhension globale

Multi Head Attention

  • Répartir l'attention entre plusieurs canaux
  • Se concentrer sur différents aspects de la conversation
  • Analyser les émotions de l'orateur, le sujet principal et les sujets secondaires connexes
  • Traiter chaque aspect et les rassembler
Concepts des grands modèles de langage (LLM)

Avantages du Multi Head Attention

  • « Ce jeune homme s'est rendu au magasin pour faire quelques courses et a découvert une promotion sur ses céréales préférées. »

 

  • Attention : « jeune homme », « magasin », « courses » et « promotion ».
  • Self Attention : « garçon » et « il » → même personne
  • Multi Head Attention : plusieurs canaux
    • Le personnage (« jeune homme »)
    • L’action (« s’est rendu au magasin », « a découvert une promotion »)
    • Les éléments concernés (« courses », « céréales »)
Concepts des grands modèles de langage (LLM)

Passons à la pratique !

Concepts des grands modèles de langage (LLM)

Preparing Video For Download...