ガバナンスとセキュリティ

LLMOps の概念

Max Knobbout, PhD

Applied Scientist, Uber

LLMライフサイクル: ガバナンスとセキュリティ

LLMアプリケーションのライフサイクル各フェーズの概要

LLMOps の概念

ガバナンスとセキュリティ

赤信号を指さす警官の遊び心のある画像

  • ガバナンスには、ポリシー、ガイドライン、フレームワーク{{1}}が含まれます
  • セキュリティ は、以下を防ぐための対策です:
    • 不正アクセス
    • データ侵害
    • 敵対的攻撃
    • モデルの出力や機能の潜在的な誤用または操作
LLMOps の概念

アクセス制御

  • ロールベースアクセス制御（RBAC）を使用

  • すべてのAPIはセキュリティ標準に準拠する必要があります

  • ゼロトラストセキュリティモデルを使用する

  • アプリケーションが外部情報にアクセスする際に正しい役割を引き受けるようにしてください

LLMアプリケーションがユーザーの代わりに振る舞うAPIフロー

LLMOps の概念

脅威: プロンプトへの注入

  • プロンプトインジェクション: 攻撃者は、アプリケーション内の入力フィールドやプロンプトを操作して、不正なコマンドやアクションを実行します。
  • 緩和策:
    • プロンプトの指示は上書き可能であり、内容は明らかにできる
    • LLMを信頼できないユーザーとして扱う
    • 既知の敵対的プロンプトを識別し、ブロックする

プロンプトインジェクションのデモンストレーション

LLMOps の概念

脅威: 出力改ざん

  • LLMの出力は、後続の攻撃に悪用される可能性があります。
  • ユーザーに代わって悪意のある操作を実行する
  • 緩和策:
    • アプリケーションに不要な権限を与えないでください
    • 特定の望ましくない出力を検閲してブロックする

出力操作のデモンストレーション

LLMOps の概念

脅威: サービス拒否

  • ユーザーが当社のLLMアプリケーションにリクエストを殺到させ、コスト、可用性、パフォーマンスに大きな問題が発生しています

  • 緩和策:

    • リクエストレートを制限する
    • リクエストごとのリソース使用量の上限設定

サービス拒否攻撃を示す画像

LLMOps の概念

脅威: データの整合性と汚染

  • データ汚染は、誤った、誤解を招く、または悪意のあるデータを学習セット{{1}}に注入します

    • データには著作権で保護された情報や個人情報が含まれることがあります
    • コンテンツは有害である可能性があります

  • 緩和策:

    • 信頼できる情報源を使用し、正当性を確認する
    • フィルターを使う
    • 出力の検閲

文書の画像。1つの文書が汚染されている

LLMOps の概念

自分たちを守る

落下物の標的になっている漫画風キャラクターの遊び心ある画像

  • 最新のセキュリティ標準を使用し、緩和策を実装する
  • 常に、当社のシステムを標的とする悪意あるユーザーの視点を想定する
  • 最新情報を得たい方は、Open Web Application Security Project (OWASP)をご覧ください
1 LLM向けのOWASP:https://llmtop10.com/
LLMOps の概念

練習しましょう！

LLMOps の概念

Preparing Video For Download...