LLMOpsの概要

LLMOpsの概念

Max Knobbout, PhD

Applied Scientist, Uber

このコースで学ぶこと

 

• LLMOpsは大規模言語モデルアプリケーションの管理・デプロイ・維持を効果的に支援します
• 学習内容：
  • 基礎知識
  • LLMアプリケーションのライフサイクル
  • 課題と考慮事項

¹ Illustrations by Manfred Steger @ Pixabay

LLMの概要

 

 

LLMとは？

• 📚 大量のテキストデータで学習
• 🧠 人間に近いテキストの理解・生成が可能
• 💡 AIの革新的技術

 

 

他との違い

• 🏋 一般的に事前学習済み
• 🐘 膨大なパラメータ数
• 💻 大規模な計算リソースが必要
• 🎲 予測不確実性が高い

当初の状況...

• クエリが直接モデルに入力されていた
• モデルの運用が中心だった
• ファインチューニング時のみデータが使用された

...現在の状況

• テキスト生成前に組織データを統合
• データの処理・操作が含まれる場合がある
• テキスト・画像・マルチモーダルに対応した単数または複数のモデル呼び出し

これらを本コースではLLMアプリケーションと呼びます

LLMOpsの必要性

 

 

LLMOpsの必要性

 

 

LLMOpsの必要性

 

 

LLMOpsとMLOpsの比較

LLMOpsとMLOpsの比較

主な違い：

	LLMOps	MLOps
モデルサイズ	大規模	一般的に小規模
データ	テキスト	あらゆるデータ
事前学習済みモデル	一般的に使用	一般的に不使用
モデル改善	プロンプトエンジニアリング＆ファインチューニング	特徴量エンジニアリング＆モデル選択
汎用性	汎用	固定スコープ
予測不確実性	高	低
出力	主にテキスト	タスク固有

練習しましょう！

LLMOpsの概念