ファインチューニング

大規模言語モデル（LLM）の基本

Vidhi Chugh

AI strategist and ethicist

このステップの位置

プロセス中でファインチューニング段階に到達したことを示している

大規模言語モデル（LLM）の基本
  • 事前学習

事前学習の比喩としての学校の子どもたちを表す画像

          義務教育
  • ファインチューニング

大学生を表す画像、ファインチューニングの比喩

        大学での専門分野
1 Freepik
大規模言語モデル（LLM）の基本

「巨大さ」の課題

  • ファインチューニングは有効なアプローチ
  • 高性能コンピューター
  • 効率的なモデル学習手法
  • 大量の学習データ

LLM構築の課題として、データ、学習時間、計算能力の可用性を示す画像

大規模言語モデル（LLM）の基本

計算処理能力

  • メモリ

  • 処理能力

  • 専用インフラ

  • 高コスト

  • LLM：
    • 数万個の画像処理装置（GPU）
    • 数千個の中央処理装置（CPU）
  • 個人用PC： CPU1個、GPU0～1個

大型サーバーに接続されたコンピューターで作業する男性

1 Freepik
大規模言語モデル（LLM）の基本

効率的なモデル学習

深層学習モデルを象徴するイラスト

  • 学習時間が非常に長い
  • 数週間～数か月かかることも
  • 効率的なモデル学習手法 = 学習時間の短縮
  • 1つのGPUだと355年分の処理時間
大規模言語モデル（LLM）の基本

データの確保

  • 高品質な学習データの確保
  • 言語の複雑さや細かいニュアンスを学習する

  • 数百GBのテキストデータ

    • 100万冊以上の本に相当

  • 膨大な規模のデータ量

大量のデータの比喩として大きくあふれた2つフォルダーの山

大規模言語モデル（LLM）の基本

課題の解決法

  • ファインチューニング
    • これらの課題の一部に対処できる
    • 事前学習済みモデルを適応させる
  • 事前学習済みモデル
    • 汎用データセットで学習済み
    • 特定タスク向けに最適化されていない
    • 特定タスクに合わせてファインチューニング（微調整）が可能

ファインチューニングを表す、巨大なノートパソコンの上で、ツールや歯車を使って微調整を行う人々

大規模言語モデル（LLM）の基本

ファインチューニング vs. 事前学習

  • ファインチューニング

  • 計算資源

    • CPU・GPU1～2個
  • 学習時間
    • 数時間～数日
  • データ量
    • 約1GB

  • 事前学習

  • 計算資源

    • CPU・GPU数千個
  • 学習時間
    • 数週間～数か月
  • データ量
    • 数百GB
大規模言語モデル（LLM）の基本

練習しましょう！

大規模言語モデル（LLM）の基本

Preparing Video For Download...