テスト

LLMOps の概念

Max Knobbout, PhD

Applied Scientist, Uber

LLMのライフサイクル テスト

LLMアプリケーションのライフサイクル各フェーズの概要

LLMOps の概念

なぜテストが必要なのですか？

親指を立てたサインと親指を下げたサインを持つ、2人の漫画風キャラクターの遊び心ある画像

  • LLMはミスをする
  • テストは、アプリケーションのデプロイ準備状況を評価するうえで不可欠です
  • 出力の評価についても扱います
LLMOps の概念

従来のMLとLLMアプリケーションのテスト

従来の教師あり機械学習:

  • ラベル付きのトレーニングデータとテストデータの両方が必要
  • 精度または目標への近さに焦点を当てた指標

従来の機械学習の学習用データセットとテスト用データセットの画像

LLMのアプリケーション:

  • テスト用データが必要、必ずしもラベル付きでなくてもよい
  • 品質の評価に、さまざまな 指標を使用

LLMアプリケーション向けの訓練セットとテストセットの画像

LLMOps の概念

ステップ 1： テストセットの作成

データを収集する漫画キャラクターの遊び心のある画像

  • テストセットの作成はこれで完了するはずです
  • テストデータは現実のシナリオによく似ていなければなりません
  • このプロセスでは、さまざまなツールが役立ちます
LLMOps の概念

ステップ 2： メトリクスの選択

正しい答えがある場合...

  • ... 機械学習メトリクスを使用します。 例：
    • 精度：

「ML メトリクスを使用」を指すフローチャート

LLMOps の概念

ステップ 2： メトリクスの選択

参照答案がある場合...

  • ...統計的手法を使用します。
  • ... モデルベースの手法を使用します。 例：
    • LLM判定

「テキスト比較メトリクスを使用する」を指すフローチャート

LLMOps の概念

ステップ 2： メトリクスの選択

人間のフィードバックにアクセスできれば...

  • ... 人間にテキストを評価してもらう。 例:
    • 品質を評価する
    • 関連性を評価する
    • 一貫性を評価する
  • ... モデルベースのアプローチを使用する。 例：
    • 過去のフィードバックに基づいて評価を予測する
    • フィードバックが反映されたかどうか、LLMジャッジに確認する

「フィードバックスコア指標を使用する」へのフローチャート

LLMOps の概念

ステップ 2： メトリクスの選択

もし人間のフィードバックがなければ...

  • ...教師なしメトリクスを使用します。 例:
    • 一貫性
    • 流暢さ
    • 多様性

「教師なしメトリクスを使用する」を指すフローチャート

LLMOps の概念

ステップ 3： オプションのセカンダリ指標を定義する

出力の特性:

  • 🎭 偏り
  • ☠ 有害性
  • 🤝 親切さ

運用特性:

  • ⏱ 遅延
  • 💰 総発生コスト
  • 💻 メモリ使用量
LLMOps の概念

開発サイクル

ファインチューニングのアクティビティを追加した開発サイクル

LLMOps の概念

開発サイクル

テストのアクティビティを追加した開発サイクル

LLMOps の概念

開発サイクル

テストのアクティビティを追加した開発サイクル

LLMOps の概念

開発サイクル

デプロイ作業を追加した開発サイクル

LLMOps の概念

練習しましょう！

LLMOps の概念

Preparing Video For Download...