アテンション機構

大規模言語モデル（LLM）の基本

Vidhi Chugh

AI strategist and ethicist

アテンション機構

  • 複雑な構造を理解する
  • 重要な単語に注目する
  • 例えると：
    • 推理小説の手がかり
    • 関連するコンテンツに注目
    • 重要な入力データに集中する

虫眼鏡をあてた開いた本

大規模言語モデル（LLM）の基本

セルフアテンションとマルチヘッドアテンション

セルフアテンション

  • 各単語の重要度を評価
  • 長距離依存関係を捉える

マルチヘッドアテンション

  • セルフアテンションの発展形
  • 入力を複数のヘッドと呼ばれるものに分割、各ヘッドが異なる面に注目する
大規模言語モデル（LLM）の基本

パーティーでの会話

  • アテンション： セルフとマルチヘッド
  • 例：
    • パーティーで複数人で会話しているとき
    • 話題に関連のある人を選択して注目
    • 雑音を除去
    • 重要なポイントに注目

人々が座ってグループで会話している

1 Freepik
大規模言語モデル（LLM）の基本

パーティーの会話

セルフアテンション

  • 一人ひとりの発言に注目
  • それらの関連性を評価・比較する
  • 発言の重要度を評価
  • 総合して全体像を理解する

マルチヘッドアテンション

  • 注意を複数のチャンネルに分割する
  • 会話のさまざまな側面に焦点を当てる
  • 話者の感情、主要トピック、関連するサブトピックなど
  • 各要素を処理して統合する
大規模言語モデル（LLM）の基本

マルチヘッドアテンションのメリット

  • 「少年は食料品を買いに店へ行き、彼はそこでお気に入りのシリアルが割引になっているのを見つけた。」
  • アテンション：「少年」、「店」、「食料品」、「割引」
  • セルフアテンション：「少年」と「彼」→ 同一人物
  • マルチヘッドアテンション：複数のチャネル
    • 主人公（「少年」）
    • 行動（「店に行った」「割引になっているのを見つけた」）
    • 関連するもの（「食料品」、「シリアル」）
大規模言語モデル（LLM）の基本

練習しましょう！

大規模言語モデル（LLM）の基本

Preparing Video For Download...