LLMOpsの概要

LLMOps の概念

Max Knobbout, PhD

Applied Scientist, Uber

このコースで学ぶこと

机の上に座って学んでいる本の、遊び心のあるイラスト

  • LLMOps は、大規模言語モデルアプリケーションの 管理、デプロイ、保守 を効果的に支援します
  • カバーします
    • 基礎
    • LLMアプリケーションのライフサイクル
    • 課題と考慮事項
1 イラスト：Manfred Steger @ Pixabay
LLMOps の概念

LLMの要約

LLMとは何ですか？- 📚 大量のテキストデータで学習済み{{1}}
  • 🧠 人間のようなテキストを理解し生成できる
  • 💡 AIの画期的進歩
何が彼らを際立たせるのか？- 🏋 通常は事前学習済み{{4}}
  • 🐘 巨大な数のパラメータ
  • 💻 大規模な計算資源
  • 🎲 予測不能
LLMOps の概念

こうして始まった...

  • クエリはモデルに直接入力されました
  • 焦点はモデルの運用にありました
  • モデルがファインチューニングされたデータが導入された場合のみ

LLM にクエリが入力され、出力が生成されるシンプルなパイプラインを示す図

LLMOps の概念

... と、進捗状況の比較

  • テキスト生成の前に組織のデータを統合する
  • ステップにはデータの処理と操作が含まれる場合があります
  • 1つ、または複数のモデル呼び出し、テキスト、画像、またはマルチモーダルに対応

このコース全体を通して、私たちがLLMアプリケーションと呼ぶものになるのです

複雑なLLMパイプラインの画像

LLMOps の概念

LLMOpsの必要性

シームレスな統合

LLMOps の概念

LLMOpsの必要性

スムーズなライフサイクル遷移

LLMOps の概念

LLMOpsの必要性

効率的でスケーラブルな管理

LLMOps の概念

LLMOps と MLOps

LLMOps の概念

LLMOps と MLOps

いくつかの違い:

LLMOps MLOps
モデルサイズ 大きい 通常は小さい
データ テキスト 任意のデータ
事前学習済みモデル 通常ははい 通常はいいえ
モデルの改善 プロンプトエンジニアリングとファインチューニング 特徴量エンジニアリングとモデル選択
一般化 汎用 固定範囲
予測不可能性 高 低
出力 主にテキスト タスク固有
LLMOps の概念

練習しましょう！

LLMOps の概念

Preparing Video For Download...