Uppmärksamhetsmekanismer

Koncept inom stora språkmodeller (LLM)

Vidhi Chugh

AI strategist and ethicist

Uppmärksamhetsmekanismer

  • Förstår komplexa strukturer
  • Fokuserar på viktiga ord

 

  • Bokläsningsanalogi:
    • Ledtrådar i en deckare
    • Fokus på relevant innehåll
    • Koncentrerar sig på viktig indata

En öppen bok med ett förstoringsglas

Koncept inom stora språkmodeller (LLM)

Självuppmärksamhet och flerhuvudsuppmärksamhet

Självuppmärksamhet

  • Väger vikten av varje ord

 

  • Fångar långväga beroenden

Flerhuvudsuppmärksamhet

  • Nästa nivå av självuppmärksamhet

 

  • Delar upp indata i flera huvuden där varje huvud fokuserar på olika aspekter
Koncept inom stora språkmodeller (LLM)

Uppmärksamhet på en fest

  • Uppmärksamhet: Själv- och flerhuvuds

 

  • Exempel:
    • Gruppssamtal på en fest
    • Selektivt fokus på relevant talare
    • Filtrerar bort brus
    • Fokuserar på viktiga punkter

 

personer som sitter och har ett gruppsamtal

1 Freepik
Koncept inom stora språkmodeller (LLM)

Festen fortsätter

Självuppmärksamhet

  • Fokuserar på varje persons ord
  • Utvärderar och jämför deras relevans
  • Väger varje talares bidrag
  • Kombinerar för en heltäckande förståelse

Flerhuvudsuppmärksamhet

  • Delar uppmärksamheten i "flera" kanaler
  • Fokuserar på olika aspekter av samtalet
  • Talarens känslor, huvudämne och relaterade sidoämnen
  • Bearbetar varje aspekt och slår ihop dem
Koncept inom stora språkmodeller (LLM)

Fördelar med flerhuvudsuppmärksamhet

  • "The boy went to the store to buy some groceries, and he found a discount on his favorite cereal."

 

  • Uppmärksamhet: "boy," "store," "groceries" och "discount"
  • Självuppmärksamhet: "boy" och "he" -> samma person
  • Flerhuvudsuppmärksamhet: flera kanaler
    • Karaktär ("boy")
    • Handling ("went to the store," "found a discount")
    • Inblandade saker ("groceries," "cereal")
Koncept inom stora språkmodeller (LLM)

Nu kör vi en övning!

Koncept inom stora språkmodeller (LLM)

Preparing Video For Download...