監視と観測可能性

LLMOpsの概念

Max Knobbout, PhD

Applied Scientist, Uber

LLMライフサイクル：監視と観測可能性

監視と観測可能性

 

 

• 監視はシステムを継続的に観察します。
• 観測可能性は内部状態を外部に公開します。
• 観測可能性のデータソース:
  1. ログ
  2. メトリクス
  3. トレース

入力監視

• 入力を監視する対象:
  • 変化
  • エラー
  • 悪意あるコンテンツ
• データドリフトとは、入力データの分布が時間とともに変化すること
• データドリフトへの対処:
  • データ分布の監視
  • モデルの定期的な更新

機能監視

• 例:

  • 応答時間
  • リクエスト数
  • ダウンタイム
  • エラー率

• LLMアプリケーションの場合:

  • チェーンとエージェントの実行
  • システムリソース（GPU）
  • コスト

出力監視

• テスト時に定義したメトリクスを使用:
  • バイアス
  • 毒性
  • 有用性
• モデルドリフト:
  • 入力と出力の関係が変化
• 検閲とは積極的に介入すること

アラート対応

 

 

 

 

• 問題発生時に通知を受け取る
• 明確な対応手順を整備する
• サービスレベル契約（SLA）が適用される場合がある

では、練習しましょう！

LLMOpsの概念