Guvernanță și securitate

Concepte LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclul de viață LLM: Guvernanță și securitate

Prezentare generală a fazelor ciclului de viață al aplicației LLM

Concepte LLMOps

Guvernanță și securitate

 

Imagine jucăușă cu un polițist care indică semaforul roșu

 

  • Guvernanța implică politici, ghiduri și cadre de lucru
  • Securitatea implică măsuri pentru prevenirea:
    • Accesului neautorizat
    • Breșelor de date
    • Atacurilor adversariale
    • Utilizării greșite sau manipulării rezultatelor și capabilităților modelelor
Concepte LLMOps

Controlul accesului

  • Utilizați Controlul Accesului Bazat pe Roluri (RBAC)

  • Toate API-urile trebuie să respecte standardele de securitate

  • Utilizați modelul de securitate zero trust

  • Asigurați-vă că aplicația preia rolul corect la accesarea informațiilor externe

 

Un flux API în care aplicația LLM preia rolul utilizatorului

Concepte LLMOps

Amenințare: Injecția de prompt

  • Injecția de prompt: Atacatorii manipulează câmpurile de introducere sau prompturile dintr-o aplicație pentru a executa comenzi neautorizate.
  • Măsuri de atenuare:
    • Presupuneți că instrucțiunile din prompt pot fi suprascrise și conținutul dezvăluit
    • Tratați LLM ca un utilizator neîncrezut
    • Identificați (și blocați) prompturile adversariale cunoscute

Demonstrație a unei injecții de prompt

Concepte LLMOps

Amenințare: Manipularea rezultatelor

  • Rezultatele LLM pot fi exploatate în atacuri ulterioare.
  • Execută acțiuni malițioase în numele utilizatorului
  • Măsuri de atenuare:
    • Nu acordați aplicației permisiuni inutile
    • Cenzurați și blocați rezultatele nedorite

Demonstrație a manipulării rezultatelor

Concepte LLMOps

Amenințare: Denial-of-service

  • Utilizatorii inundă aplicația LLM cu cereri, cauzând costuri ridicate și probleme de disponibilitate

  • Măsuri de atenuare:

    • Limitați rata cererilor
    • Limitați utilizarea resurselor per cerere

 

Imagine ilustrând un atac de tip denial-of-service

Concepte LLMOps

Amenințare: Integritatea datelor și otrăvirea

  • Otrăvirea datelor introduce informații false sau malițioase în setul de antrenament

    • Datele pot conține informații protejate prin drepturi de autor și/sau personale
    • Conținutul poate fi dăunător

  • Măsuri de atenuare:

    • Utilizați surse de încredere și verificați legitimitatea
    • Utilizați filtre
    • Cenzurarea rezultatelor

Imagine cu documente text, dintre care unul este otrăvit

Concepte LLMOps

Cum ne protejăm

Imagine jucăușă cu un personaj de desen animat vizat de un obiect care cade

 

  • Utilizați cele mai recente standarde de securitate și implementați strategii de atenuare
  • Adoptați întotdeauna perspectiva unui utilizator malițios care vizează sistemul nostru
  • Rămâneți la curent, consultați Open Web Application Security Project (OWASP)
1 OWASP for LLMs: https://llmtop10.com/
Concepte LLMOps

Să exersăm!

Concepte LLMOps

Preparing Video For Download...