Attention-mechanismen

Concepten van Large Language Models (LLMs)

Vidhi Chugh

AI strategist and ethicist

Attention-mechanismen

  • Begrijp complexe structuren
  • Focus op belangrijke woorden

 

  • Boeklees-analogie:
    • Clues in een mysterieboek
    • Focus op relevante inhoud
    • Concentreer op cruciale inputdata

Een open boek met een vergrootglas

Concepten van Large Language Models (LLMs)

Self-attention en multi-head attention

Self-attention

  • Weegt het belang van elk woord

 

  • Vangt langeafstandsrelaties

Multi-head attention

  • Volgende niveau van self-attention

 

  • Splitst input in meerdere heads, elk met focus op andere aspecten
Concepten van Large Language Models (LLMs)

Attention op een feest

  • Attention: Self en multi-head

 

  • Voorbeeld:
    • Groepsgesprek op een feest
    • Selectieve aandacht voor relevante spreker
    • Filter ruis
    • Focus op kernpunten

 

mensen zitten en hebben een groepsgesprek

1 Freepik
Concepten van Large Language Models (LLMs)

Feest gaat door

Self-attention

  • Focus op ieders woorden
  • Beoordeel en vergelijk de relevantie
  • Weeg de input van elke spreker
  • Combineer tot volledig begrip

Multi-head attention

  • Verdeel attention in "meerdere" kanalen
  • Focus op verschillende aspecten van het gesprek
  • Emoties van spreker, hoofdonderwerp en zijsporen
  • Verwerk elk aspect en voeg samen
Concepten van Large Language Models (LLMs)

Voordelen van multi-head attention

  • "The boy went to the store to buy some groceries, and he found a discount on his favorite cereal."

 

  • Attention: "boy," "store," "groceries," en "discount"
  • Self-attention: "boy" en "he" -> zelfde persoon
  • Multi-head attention: meerdere kanalen
    • Personage ("boy")
    • Actie ("went to the store," "found a discount")
    • Betrokken dingen ("groceries," "cereal")
Concepten van Large Language Models (LLMs)

Laten we oefenen!

Concepten van Large Language Models (LLMs)

Preparing Video For Download...