Gouvernance et sécurité

Concepts de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cycle de vie LLM : Gouvernance et sécurité

Aperçu des phases du cycle de vie d'une application LLM

La gouvernance implique des politiques, des directives et des cadres
La sécurité implique des mesures pour prévenir :
- Accès non autorisé
- Violations de données
- Attaques malveillantes
- Utilisation abusive ou manipulation des résultats ou des capacités des modèles

Utiliser le contrôle d’accès basé sur les rôles (RBAC)
Toutes les API doivent respecter les normes de sécurité
Utiliser le modèle de sécurité zero trust
Vérifier que l’application adopte le rôle approprié lors de l’accès à des informations externes

Un flux d’API où l’application LLM assume le rôle de l’utilisateur

Injection de prompt : Hackers manipulent champs de saisie ou prompts afin d’exécuter des commandes ou actions non autorisées.
Mesures d’atténuation :
- Supposer qu'instructions peuvent être remplacées et contenu dévoilé
- LLM = utilisateur non fiable
- Identifier (bloquer) prompts malveillants connus

Démonstration d'une prompt injection

La sortie du LLM peut être exploitée lors d’attaques en aval.
Exécuter des actions malveillantes au nom de l’utilisateur
Mesures d’atténuation :
- Ne pas donner à l’application des autorisations/pouvoirs inutiles
- Censurer et bloquer des sorties indésirables spécifiques

Démonstration de la manipulation de la sortie

Les utilisateurs submergent notre application LLM de requêtes, entraînant d'importants problèmes de coût, de disponibilité et de performance
Mesures d’atténuation :
- Limiter les taux de requêtes
- Limitation de l’utilisation des ressources par requête

Image showcasing a denial of service attack

empoisonnement = introduit données fausses, trompeuses, malveillantes dans jeu d’entraînement
- data avec info protégée par droit d’auteur et/ou info perso
- Le contenu peut être nuisible
Mesures d’atténuation :
- sources fiables et vérifier légitimité
- Utiliser filtres
- Censurer résultat

Image de documents texte, dont l’un est corrompu

Utiliser les normes de sécurité les plus récentes et mettre en œuvre des stratégies d’atténuation
Toujours adopter la perspective d’un utilisateur malveillant ciblant notre système
Restez informé, consultez Open Web Application Security Project (OWASP)

¹ OWASP pour LLMs : https://llmtop10.com/

Concepts de LLMOps