言語モデリングの課題

大規模言語モデル（LLM）の基本

Vidhi Chugh

AI strategist and ethicist

語順の重要性

  • 私は健康的な生活しか送りません。
  • 言葉の位置が変わる = 意味も変わる
  • 私しか健康的な生活を送りません。

左右反対方向の2本の矢印と、頭上に疑問符がある人物のイラスト。

1 Freepik
大規模言語モデル（LLM）の基本

文脈モデリング

「Run」という単語は、文脈によって異なる意味を持ちます。

大規模言語モデル（LLM）の基本

文脈モデリング

「Run」という単語がジョギングを意味することを示す画像。

大規模言語モデル（LLM）の基本

文脈モデリング

「Run」という単語が、運営を意味することを示す画像。

大規模言語モデル（LLM）の基本

文脈モデリング

機械を操作する意味で「Run」という単語を示す画像

大規模言語モデル（LLM）の基本

文脈モデリング

例を用いて異なる文脈的な意味を補足し、前の画像にさらに文脈を加える

大規模言語モデル（LLM）の基本

長距離依存関係

  • 文中の離れた単語を認識し、関連付ける
  • 従来の言語モデルには困難

長距離依存の例: "休暇から戻ってきたばかりの少女が、棚に丁寧に置いた本は、かなり重かった"

大規模言語モデル（LLM）の基本

シングルタスク学習

質問応答、テキスト要約、言語翻訳などの単一タスク学習の3つの例を示す画像。

  • リソースと時間がかかる
  • 最新のLLMと比べて柔軟性が低い
大規模言語モデル（LLM）の基本

マルチタスク学習

複数の能力を1つのモデルに統合するマルチタスク学習を示す画像。

  • 各個別タスクの性能向上
  • 精度や効率に影響する可能性
  • データを共有するため、必要な学習データを削減できる
大規模言語モデル（LLM）の基本

まとめ：

言語モデルの課題：

  • 語順
  • 文脈の理解
  • 長距離依存関係

シングルタスク学習：

  • 特定のタスク
  • 柔軟性が低い
  • 従来型モデルと初期のLLM

マルチタスク学習:

  • 汎用的
  • 複数のタスクに対応
  • より高度なLLM
大規模言語モデル（LLM）の基本

練習しましょう！

大規模言語モデル（LLM）の基本

Preparing Video For Download...