LLMの革新性

大規模言語モデル（LLM）の基本

Vidhi Chugh

AI strategist and ethicist

テキストデータの活用

感情分析、スパム検出、デジタルアシスタントを示す画像

  • 非構造化データ → 形式が統一、整理されていない
1 Freepik
大規模言語モデル（LLM）の基本

機械は言語を理解できない

言語をそのまま解釈できないコンピューターを示す画像

1 Freepik
大規模言語モデル（LLM）の基本

NLPの必要性

テキストと数値の橋渡しとしてのNLPを示し、コンピューターによって理解される画像

1 Freepik
大規模言語モデル（LLM）の基本

LLMが持つ独自の機能

  • 言語上の微妙なニュアンス
    • 皮肉
    • ユーモア
    • ダジャレ
    • 嫌味
    • 抑揚
    • 意図

クリップボードを持った人物が、一般的なテキストと大きな疑問符を指している

1 Freepik
大規模言語モデル（LLM）の基本

好きな本は？

  • 自然な反応： 「うーん、難しいですね！」
  • 個人的な意見：「私の一番好きな本は、ハーパー・リーの『アラバマ物語』です。」
  • 補足説明： 「この本は、偏見、正義、そして人間の経験についての力強い物語です。」
  • フォローアップの質問：「読んだことはありますか？」
大規模言語モデル（LLM）の基本

言語の微妙なニュアンス

皮肉： 「やったー、また会議だ！」

従来の言語モデル：

  • 返答： 「会議の内容は何ですか？」
    • 中立的
    • 皮肉を拾わない

大規模言語モデル：

  • 返答： 「楽しみにしているみたいですね！」
    • 遊び心のある返答
    • 相手を引き込む
    • 皮肉に合わせる
大規模言語モデル（LLM）の基本

LLMはどのように理解するのか

  • 大量のデータで学習されているため

  • LLMの規模：パラメータ数

  • パラメーター：学習データから得られたパターンや規則

  • パラメーターが増える -> 複雑なパターンが捉えられる

  • 高度で正確な応答が生成できる

大規模言語モデル（LLM）の基本

パラメーター

  • 少数のブロック -> シンプルな構造

少ないブロックの数を示す画像

  • ブロックの数が多い -> より複雑で精度の高い構造に

大量のレゴを示す画像

大規模言語モデル（LLM）の基本

新たな能力を生み出す

  • 創発的能力
    • 大規模モデルにのみ出現する

  • スケールの指標：

    • 学習データの量
    • パラメータ数

モデルの規模がしきい値を超えると、モデル性能が急激に向上することを示すグラフ

大規模言語モデル（LLM）の基本

新たな能力を生み出す

音楽、詩、コード生成、医療診断、治療計画などの新機能を示す画像

大規模言語モデル（LLM）の基本

LLMの構成要素

LLMsの構成要素

大規模言語モデル（LLM）の基本

まとめ：

LLM：

  • データの非構造化性を克服
  • 従来のモデルを上回る
  • 言語の微妙なニュアンスを理解する

理由

LLMの「大きさ」

  • 大規模な学習データ
  • 多くのパラメーター数
  • 創発的能力
大規模言語モデル（LLM）の基本

練習しましょう！

大規模言語モデル（LLM）の基本

Preparing Video For Download...