Aufmerksamkeitsmechanismen

Konzepte großer Sprachmodelle (LLMs)

Vidhi Chugh

AI strategist and ethicist

Aufmerksamkeitsmechanismen

  • Verstehen von komplexen Strukturen
  • Konzentration auf wichtige Wörter

 

  • Analogie zum Lesen eines Buches:
    • Hinweise in einem Krimi
    • Fokus auf relevante Inhalte
    • Konzentration auf wichtige Informationen

Ein offenes Buch mit einer Lupe

Konzepte großer Sprachmodelle (LLMs)

Self-Attention und Multi-Head Attention

Self-attention

  • Wägt die Bedeutung jedes einzelnen Wortes ab

 

  • Erfasst Beziehungen zwischen weit entfernten Wörtern

Multi-Head Attention

  • Die nächste Stufe von Self-Attention

 

  • Teilt die Eingabe auf mehrere Köpfe auf, wobei jeder Kopf sich auf verschiedene Aspekte konzentriert
Konzepte großer Sprachmodelle (LLMs)

Aufmerksamkeit auf einer Party

  • Aufmerksamkeit: Self und Multi-Head

 

  • Beispiel:
    • Gruppengespräch auf einer Party
    • Selektiver Fokus auf den wichtigsten Sprecher
    • Rauschen filtern
    • Fokus auf die wichtigsten Aspekte

 

Leute, die zusammensitzen und sich unterhalten

1 Freepik
Konzepte großer Sprachmodelle (LLMs)

Die Party geht weiter

Self-Attention

  • Konzentration auf die Worte jeder einzelnen Person
  • Bewertung und Vergleich der Rednerrelevanz
  • Gewichtung der Rednerbeiträge
  • Kombination für ein umfassendes Verständnis

Multi-Head Attention

  • Aufteilen der Aufmerksamkeit auf „mehrere“ Kanäle
  • Konzentration auf verschiedene Aspekte der Unterhaltung
  • Gefühle des Redners, Hauptthema und damit verbundene Nebenthemen
  • Prozessierung jedes Aspekts und Zusammenfügen
Konzepte großer Sprachmodelle (LLMs)

Vorteile von Multi-Head-Attention

  • „Der Junge ging zum Laden, um ein paar Lebensmittel zu kaufen, und fand sein Lieblingsmüsli im Angebot.“

 

  • Aufmerksamkeit: „Junge“, „Laden“, „Lebensmittel“ und „Angebot“
  • Self-attention: „Junge“ und „er“ -> dieselbe Person
  • Multi-Head-Attention: mehrere Kanäle
    • Protagonist („Junge“)
    • Aktion („ging in den Laden“, „fand Angebot.“)
    • Involvierte Dinge („Lebensmittel“, „Müsli“)
Konzepte großer Sprachmodelle (LLMs)

Lass uns üben!

Konzepte großer Sprachmodelle (LLMs)

Preparing Video For Download...