Governança e segurança

Conceitos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida do LLM: Governança e segurança

Visão geral das fases do ciclo de vida de uma aplicação LLM

Conceitos de LLMOps

Governança e segurança

 

Uma imagem divertida de um policial apontando para o sinal vermelho

 

  • Governança envolve políticas, diretrizes e frameworks
  • Segurança envolve medidas para prevenir:
    • Acesso não autorizado
    • Vazamentos de dados
    • Ataques adversariais
    • Uso indevido ou manipulação das saídas ou capacidades do modelo
Conceitos de LLMOps

Controle de acesso

  • Use Role Based Access Control (RBAC)

  • Todas as APIs devem seguir padrões de segurança

  • Use modelo de segurança de confiança zero

  • Garanta que a aplicação assuma a função correta ao acessar informações externas

 

Um fluxo de API onde a aplicação LLM assume a função do usuário

Conceitos de LLMOps

Ameaça: Prompt injection

  • Prompt injection: atacantes manipulam campos de entrada ou prompts na aplicação para executar comandos/ações não autorizados.
  • Mitigações:
    • Assuma que instruções do prompt podem ser sobrescritas e conteúdos expostos
    • Trate o LLM como um usuário não confiável
    • Identifique (e bloqueie) prompts adversariais conhecidos

Demonstração de uma prompt injection

Conceitos de LLMOps

Ameaça: Manipulação de saída

  • A saída do LLM pode ser usada em ataques downstream.
  • Executar ações maliciosas em nome do usuário
  • Mitigações:
    • Não dê à aplicação autoridade/permissões desnecessárias
    • Censurar e bloquear saídas indesejadas específicas

Demonstração de manipulação de saída

Conceitos de LLMOps

Ameaça: Negação de serviço

  • Usuários lotam nossa aplicação de LLM com requisições, causando alto custo e problemas de disponibilidade e desempenho

  • Mitigações:

    • Limitar taxa de requisições
    • Limitar recursos por requisição

 

Imagem mostrando um ataque de negação de serviço

Conceitos de LLMOps

Ameaça: Integridade de dados e envenenamento

  • Envenenamento de dados injeta dados falsos, enganosos ou maliciosos no conjunto de treino

    • Dados podem conter informações pessoais e/ou com copyright
    • Conteúdo pode ser nocivo

  • Mitigações:

    • Use fontes confiáveis e verifique a legitimidade
    • Use filtros
    • Censura de saída

Imagem de documentos de texto, onde um documento está envenenado

Conceitos de LLMOps

Como se proteger

Imagem lúdica de um desenho sendo atingido por um objeto caindo

 

  • Use os padrões de segurança mais recentes e implemente mitigações
  • Sempre assuma a perspectiva de um usuário mal-intencionado mirando no sistema
  • Mantenha-se atualizado, veja o Open Web Application Security Project (OWASP)
1 OWASP para LLMs: https://llmtop10.com/
Conceitos de LLMOps

Vamos praticar!

Conceitos de LLMOps

Preparing Video For Download...