Styrning och säkerhet

LLMOps-koncept

Max Knobbout, PhD

Applied Scientist, Uber

LLM-livscykeln: Styrning och säkerhet

Översikt över LLM-applikationens livscykelfaser

Styrning och säkerhet

Styrning innefattar policyer, riktlinjer och ramverk
Säkerhet innefattar åtgärder för att förhindra:
- Obehörig åtkomst
- Dataintrång
- Adversariella angrepp
- Missbruk eller manipulation av modellens utdata eller kapabiliteter

Åtkomstkontroll

Använd rollbaserad åtkomstkontroll (RBAC)
Alla API:er måste följa säkerhetsstandarder
Använd zero trust-säkerhetsmodell
Se till att applikationen antar rätt roll vid åtkomst till extern information

Ett API-flöde där LLM-applikationen antar användarens roll

Hot: Promptinjektion

Promptinjektion: Angripare manipulerar inmatningsfält eller promptar i en applikation för att utföra obehöriga kommandon eller åtgärder.
Motåtgärder:
- Anta att promptinstruktioner kan åsidosättas och innehåll avslöjas
- Behandla LLM som en ej betrodd användare
- Identifiera (och blockera) kända adversariella promptar

Demonstration av en promptinjektion

Hot: Utdatamanipulering

LLM:ens utdata kan utnyttjas i efterföljande angrepp.
Utföra skadliga åtgärder på användarens vägnar
Motåtgärder:
- Ge inte applikationen onödiga rättigheter eller behörigheter
- Censurera och blockera oönskade utdata

Demonstration av utdatamanipulering

Hot: Denial-of-service

Användare översvämmar vår LLM-applikation med förfrågningar, vilket orsakar stora kostnader samt problem med tillgänglighet och prestanda
Motåtgärder:
- Begränsa förfrågningsfrekvensen
- Sätt tak för resursanvändning per förfrågan

Bild som illustrerar ett denial-of-service-angrepp

Hot: Dataintegritet och förgiftning

Dataförgiftning innebär att falsk, vilseledande eller skadlig data injiceras i träningsdatan
- Data kan innehålla upphovsrättsskyddat och/eller personligt material
- Innehållet kan vara skadligt
Motåtgärder:
- Använd betrodda källor och verifiera deras legitimitet
- Använd filter
- Censurera utdata

Bild av textdokument där ett dokument är förgiftat

Skydda oss själva

Använd aktuella säkerhetsstandarder och implementera motåtgärder
Anta alltid perspektivet av en illvillig användare som riktar sig mot vårt system
Håll dig uppdaterad – se Open Web Application Security Project (OWASP)

¹ OWASP for LLMs: https://llmtop10.com/

Nu kör vi en övning!

LLMOps-koncept

Preparing Video For Download...