監視と可観測性

LLMOps の概念

Max Knobbout, PhD

Applied Scientist, Uber

LLMライフサイクル: 監視と可観測性

監視と可観測性

• 監視はシステムを継続的に見守ります。
• 可観測性 は内部状態を外部の観測者に明らかにします。
• 可観測性のためのデータソース:
  1. ログ
  2. 指標
  3. 痕跡

入力監視

• 入力を監視する対象：
  • 変更点
  • エラー
  • 悪意のあるコンテンツ
• データドリフトは、入力データ分布の時間経過による変化です
• データドリフトへの対処には:
  • データ分布の監視
  • モデルを定期的に更新する

機能監視

• 例：

  • 応答時間
  • リクエスト量
  • 休憩時間
  • エラー率

• LLMアプリケーション向けに:

  • チェーンとエージェントの実行
  • システムリソース（GPU）
  • 費用

出力監視

• テスト中に定義された指標(例えば:{{1}})
  • バイアス
  • 毒性
  • 有用性
• モデルのずれ:
  • 入力と出力の変化の関係
• 検閲とは、積極的に介入することです

アラート処理

• 問題が発生したときに通知される
• 明確な手順がある
• サービスレベル契約（SLA）が設定されている場合があります

練習しましょう！

LLMOps の概念