Governance und Sicherheit

LLMOps-Konzepte

Max Knobbout, PhD

Applied Scientist, Uber

LLM-Lebenszyklus: Governance und Sicherheit

Überblick über die Phasen des LLM-Anwendungslebenszyklus

LLMOps-Konzepte

Governance und Sicherheit

 

Verspieltes Bild eines Polizisten, der auf das Rotlicht zeigt

 

  • Governance umfasst Richtlinien, Leitfäden und Rahmenwerke
  • Sicherheit umfasst Maßnahmen gegen:
    • Unbefugten Zugriff
    • Datenlecks
    • Adversarielle Angriffe
    • möglichen Missbrauch oder Manipulation von Modellausgaben oder -fähigkeiten
LLMOps-Konzepte

Zugriffskontrolle

  • Role Based Access Control (RBAC) verwenden

  • Alle APIs müssen Sicherheitsstandards einhalten

  • Zero-Trust-Sicherheitsmodell nutzen

  • Sicherstellen, dass die App beim Zugriff auf externe Infos die richtige Rolle annimmt

 

Ein API-Flow, in dem die LLM-App die Rolle der/des Nutzenden annimmt

LLMOps-Konzepte

Bedrohung: Prompt-Injection

  • Prompt Injection: Angreifende manipulieren Eingabefelder oder Prompts in einer App, um unbefugte Befehle/Aktionen auszuführen.
  • Gegenmaßnahmen:
    • Annehmen, dass Prompt-Anweisungen überschrieben und Inhalte offengelegt werden können
    • LLM wie eine nicht vertrauenswürdige Person behandeln
    • Bekannte adversarielle Prompts erkennen (und blockieren)

Demonstration einer Prompt-Injection

LLMOps-Konzepte

Bedrohung: Output-Manipulation

  • LLM-Ausgaben können für nachgelagerte Angriffe missbraucht werden.
  • Ausführung bösartiger Aktionen im Namen der Nutzenden
  • Gegenmaßnahmen:
    • Apps keine unnötigen Rechte/Berechtigungen geben
    • Bestimmte unerwünschte Ausgaben zensieren und blockieren

Demonstration der Manipulation von Ausgaben

LLMOps-Konzepte

Bedrohung: Denial-of-Service

  • Nutzende fluten unsere LLM-App mit Anfragen und verursachen hohe Kosten sowie Verfügbarkeits- und Performance-Probleme

  • Gegenmaßnahmen:

    • Anfrage-Raten begrenzen
    • Ressourcen pro Anfrage deckeln

 

Bild einer Denial-of-Service-Attacke

LLMOps-Konzepte

Bedrohung: Datenintegrität und Poisoning

  • Data Poisoning schleust falsche, irreführende oder bösartige Daten ins Trainingsset ein

    • Daten können urheberrechtlich geschützte und/oder personenbezogene Infos enthalten
    • Inhalte können schädlich sein

  • Gegenmaßnahmen:

    • Vertrauenswürdige Quellen nutzen und Legitimität prüfen
    • Filter einsetzen
    • Ausgaben zensieren

Bild von Textdokumenten, eines davon ist vergiftet

LLMOps-Konzepte

Uns schützen

Verspieltes Bild einer Cartoon-Figur, die von einem herabfallenden Objekt anvisiert wird

 

  • Neueste Sicherheitsstandards nutzen und Gegenmaßnahmen umsetzen
  • Immer aus Sicht einer böswilligen Person auf unser System schauen
  • Aktuell bleiben, z. B. mit dem Open Web Application Security Project (OWASP)
1 OWASP für LLMs: https://llmtop10.com/
LLMOps-Konzepte

Lass uns üben!

LLMOps-Konzepte

Preparing Video For Download...