Attention-mechanismen

Concepten van Large Language Models (LLM's)

Vidhi Chugh

AI strategist and ethicist

Attention-mechanismen

  • Begrijp complexe structuren
  • Focus op belangrijke woorden

 

  • Boek-analogie:
    • Hints in een detectivestructuur
    • Richt je op relevante inhoud
    • Concentreer je op cruciale invoerdata

Een open boek met een vergrootglas

Concepten van Large Language Models (LLM's)

Self-attention en multi-head attention

Self-attention

  • Weegt het belang van elk woord

 

  • Legt langetermijnverbanden vast

Multi-head attention

  • De volgende stap van self-attention

 

  • Splitst input in meerdere heads, elk met focus op andere aspecten
Concepten van Large Language Models (LLM's)

Attention op een feestje

  • Attention: self en multi-head

 

  • Voorbeeld:
    • Groepsgesprek op een feestje
    • Selectieve aandacht voor de relevante spreker
    • Filter ruis
    • Focus op kernpunten

 

mensen die zitten en een groepsgesprek hebben

1 Freepik
Concepten van Large Language Models (LLM's)

Feest gaat verder

Self-attention

  • Focus op ieders woorden
  • Beoordeel en vergelijk hun relevantie
  • Weeg de input van elke spreker
  • Combineer voor volledig begrip

Multi-head attention

  • Verdeel aandacht over "meerdere" kanalen
  • Focus op verschillende aspecten van het gesprek
  • Emoties van de spreker, hoofdonderwerp en zijsporen
  • Verwerk elk aspect en voeg samen
Concepten van Large Language Models (LLM's)

Voordelen van multi-head attention

  • "The boy went to the store to buy some groceries, and he found a discount on his favorite cereal."

 

  • Attention: "boy", "store", "groceries" en "discount"
  • Self-attention: "boy" en "he" -> dezelfde persoon
  • Multi-head attention: meerdere kanalen
    • Personage ("boy")
    • Actie ("went to the store", "found a discount")
    • Betrokken zaken ("groceries", "cereal")
Concepten van Large Language Models (LLM's)

Laten we oefenen!

Concepten van Large Language Models (LLM's)

Preparing Video For Download...