ガバナンスとセキュリティ

LLMOpsの概念

Max Knobbout, PhD

Applied Scientist, Uber

LLMライフサイクル：ガバナンスとセキュリティ

LLMアプリケーションライフサイクルフェーズの概要

LLMOpsの概念

ガバナンスとセキュリティ

 

赤信号を指差す警官のイメージ

 

  • ガバナンスはポリシー・ガイドライン・フレームワークを含みます
  • セキュリティは以下を防ぐための対策を含みます:
    • 不正アクセス
    • データ漏洩
    • 敵対的攻撃
    • モデルの出力や機能の悪用・操作
LLMOpsの概念

アクセス制御

  • ロールベースアクセス制御（RBAC）を使用する

  • すべてのAPIはセキュリティ標準に準拠する必要があります

  • ゼロトラストセキュリティモデルを使用する

  • アプリケーションが外部情報にアクセスする際に適切なロールを引き受けるようにする

 

LLMアプリケーションがユーザーのロールを引き受けるAPIフロー

LLMOpsの概念

脅威：プロンプトインジェクション

  • プロンプトインジェクション：攻撃者がアプリケーション内の入力フィールドやプロンプトを操作し、不正なコマンドや操作を実行します。
  • 対策:
    • プロンプトの指示が上書きされ、内容が露出される可能性を前提とする
    • LLMを信頼できないユーザーとして扱う
    • 既知の敵対的プロンプトを識別（およびブロック）する

プロンプトインジェクションのデモンストレーション

LLMOpsの概念

脅威：出力の操作

  • LLMの出力は下流攻撃に悪用される可能性があります。
  • ユーザーに代わって悪意のある操作を実行します
  • 対策:
    • アプリケーションに不要な権限を付与しない
    • 望ましくない出力を検閲・ブロックする

出力操作のデモンストレーション

LLMOpsの概念

脅威：サービス拒否（DoS）

  • 大量のリクエストによりコスト・可用性・パフォーマンスに深刻な影響が生じます

  • 対策:

    • リクエストレートの制限
    • リクエストごとのリソース使用量の上限設定

 

サービス拒否攻撃のイメージ

LLMOpsの概念

脅威：データの完全性とポイズニング

  • データポイズニングは偽・誤解を招く・悪意のあるデータをトレーニングセットに注入します

    • 著作権情報や個人情報が含まれる場合があります
    • コンテンツが有害な場合があります

  • 対策:

    • 信頼できるソースを使用し正当性を検証する
    • フィルターを使用する
    • 出力の検閲

汚染されたドキュメントを含むテキスト文書のイメージ

LLMOpsの概念

自己防衛のために

落下物に狙われるキャラクターのイメージ

 

  • 最新のセキュリティ標準を使用し、対策を実施する
  • 悪意のあるユーザーの視点でシステムを常に評価する
  • 最新情報を把握し、OWASP（Open Web Application Security Project）を参照する
1 OWASP for LLMs: https://llmtop10.com/
LLMOpsの概念

練習しましょう！

LLMOpsの概念

Preparing Video For Download...