Správa a bezpečnost

Koncepty LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Životní cyklus LLM: Správa a bezpečnost

Přehled fází životního cyklu aplikace LLM

Koncepty LLMOps

Správa a bezpečnost

 

Hravý obrázek policistu ukazujícího na červené světlo

 

  • Správa zahrnuje zásady, pokyny a rámce
  • Bezpečnost zahrnuje opatření k prevenci:
    • Neoprávněného přístupu
    • Úniků dat
    • Adversariálních útoků
    • Zneužití nebo manipulace s výstupy či schopnostmi modelů
Koncepty LLMOps

Řízení přístupu

  • Používat řízení přístupu na základě rolí (RBAC)

  • Všechna API musí splňovat bezpečnostní standardy

  • Používat model nulové důvěry

  • Zajistit, aby aplikace přebírala správnou roli při přístupu k externím informacím

 

Tok API, kde aplikace LLM přebírá roli uživatele

Koncepty LLMOps

Hrozba: Injekce promptu

  • Injekce promptu: Útočníci manipulují vstupními poli nebo prompty v aplikaci za účelem vykonání neautorizovaných příkazů či akcí.
  • Zmírnění rizik:
    • Předpokládat, že pokyny v promptu mohou být přepsány a obsah odhalen
    • Zacházet s LLM jako s nedůvěryhodným uživatelem
    • Identifikovat (a blokovat) známé adversariální prompty

Ukázka injekce promptu

Koncepty LLMOps

Hrozba: Manipulace s výstupem

  • Výstup LLM může být zneužit při následných útocích.
  • Provádění škodlivých akcí jménem uživatele
  • Zmírnění rizik:
    • Neudělovat aplikaci zbytečná oprávnění
    • Cenzurovat a blokovat nežádoucí výstupy

Ukázka manipulace s výstupem

Koncepty LLMOps

Hrozba: Odmítnutí služby (DoS)

  • Uživatelé zahltí aplikaci LLM požadavky, což způsobí vysoké náklady a problémy s dostupností a výkonem

  • Zmírnění rizik:

    • Omezení počtu požadavků
    • Limit využití zdrojů na požadavek

 

Obrázek znázorňující útok odmítnutí služby

Koncepty LLMOps

Hrozba: Integrita dat a jejich otrava

  • Otrava dat vkládá falešná, zavádějící nebo škodlivá data do trénovací sady

    • Data mohou obsahovat chráněné nebo osobní informace
    • Obsah může být škodlivý

  • Zmírnění rizik:

    • Používat důvěryhodné zdroje a ověřovat jejich legitimitu
    • Používat filtry
    • Cenzura výstupů

Obrázek textových dokumentů, kde jeden dokument je napaden otravou dat

Koncepty LLMOps

Jak se chránit

Hravý obrázek kresleného panáčka zasaženého padajícím předmětem

 

  • Používat nejnovější bezpečnostní standardy a zavádět strategie zmírňování rizik
  • Vždy uvažovat z pohledu útočníka cílícího na náš systém
  • Sledovat aktuální vývoj, viz Open Web Application Security Project (OWASP)
1 OWASP for LLMs: https://llmtop10.com/
Koncepty LLMOps

Pojďme cvičit!

Koncepty LLMOps

Preparing Video For Download...