Governance e sicurezza

Concetti di LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo di vita LLM: governance e sicurezza

Panoramica delle fasi del ciclo di vita di un'app LLM

Concetti di LLMOps

Governance e sicurezza

 

Immagine giocosa di un poliziotto che indica il rosso del semaforo

 

  • La governance riguarda policy, linee guida e framework
  • La sicurezza comprende misure per prevenire:
    • Accessi non autorizzati
    • Data breach
    • Attacchi avversari
    • Uso improprio o manipolazione di output o capacità del modello
Concetti di LLMOps

Controllo degli accessi

  • Usa il Role-Based Access Control (RBAC)

  • Tutte le API devono rispettare gli standard di sicurezza

  • Adotta il modello di sicurezza zero trust

  • Assicurati che l’app assuma il ruolo corretto quando accede a info esterne

 

Flusso API in cui l'app LLM assume il ruolo dell'utente

Concetti di LLMOps

Minaccia: Prompt injection

  • Prompt injection: gli attaccanti manipolano campi di input o prompt in un’app per eseguire comandi o azioni non autorizzati.
  • Mitigazioni:
    • Supponi che le istruzioni del prompt possano essere ignorate e i contenuti rivelati
    • Tratta l’LLM come un utente non affidabile
    • Identifica (e blocca) prompt avversari noti

Dimostrazione di una prompt injection

Concetti di LLMOps

Minaccia: Manipolazione dell’output

  • L’output dell’LLM può essere sfruttato in attacchi downstream.
  • Eseguire azioni dannose per conto dell’utente
  • Mitigazioni:
    • Non dare all’app autorizzazioni/permessi non necessari
    • Censurare e bloccare output specifici indesiderati

Dimostrazione di manipolazione dell'output

Concetti di LLMOps

Minaccia: Denial-of-service

  • Gli utenti inondano la nostra app LLM di richieste, causando alti costi e problemi di disponibilità e performance

  • Mitigazioni:

    • Limitare il rate delle richieste
    • Mettere un tetto alle risorse per richiesta

 

Immagine che mostra un attacco denial of service

Concetti di LLMOps

Minaccia: Integrità dei dati e poisoning

  • Il data poisoning inserisce dati falsi, fuorvianti o malevoli nel set di training

    • I dati possono contenere info coperte da copyright e/o personali
    • Il contenuto può essere dannoso

  • Mitigazioni:

    • Usa fonti affidabili e verifica la legittimità
    • Usa filtri
    • Censura dell’output

Immagine di documenti di testo, con un documento avvelenato

Concetti di LLMOps

Come proteggerci

Immagine giocosa di un cartone preso di mira da un oggetto che cade

 

  • Usa gli standard di sicurezza più recenti e applica le mitigazioni
  • Pensa sempre come un utente malevolo che prende di mira il sistema
  • Resta aggiornato: vedi Open Web Application Security Project (OWASP)
1 OWASP for LLMs: https://llmtop10.com/
Concetti di LLMOps

Ayo berlatih!

Concetti di LLMOps

Preparing Video For Download...