Управление и безопасность

Концепции LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Жизненный цикл LLM: управление и безопасность

Обзор фаз жизненного цикла LLM-приложения

Концепции LLMOps

Управление и безопасность

 

Иллюстрация с полицейским, указывающим на красный свет

 

  • Управление — политики, руководства и регламенты
  • Безопасность — меры по предотвращению:
    • Несанкционированного доступа
    • Утечек данных
    • Состязательных атак
    • Злоупотреблений или манипуляций с выводами и возможностями модели
Концепции LLMOps

Управление доступом

  • Используйте управление доступом на основе ролей (RBAC)

  • Все API должны соответствовать стандартам безопасности

  • Применяйте модель нулевого доверия

  • Убедитесь, что приложение принимает правильную роль при обращении к внешним данным

 

Схема API, в которой LLM-приложение принимает роль пользователя

Концепции LLMOps

Угроза: инъекция промпта

  • Инъекция промпта: злоумышленники манипулируют полями ввода или промптами в приложении, чтобы выполнить несанкционированные команды или действия.
  • Методы защиты:
    • Исходите из того, что инструкции промпта могут быть переопределены, а содержимое — раскрыто
    • Рассматривайте LLM как ненадёжного пользователя
    • Выявляйте (и блокируйте) известные состязательные промпты

Демонстрация инъекции промпта

Концепции LLMOps

Угроза: манипуляция выводом

  • Вывод LLM может использоваться в последующих атаках.
  • Выполнение вредоносных действий от имени пользователя
  • Методы защиты:
    • Не наделяйте приложение избыточными правами и разрешениями
    • Фильтруйте и блокируйте нежелательные выводы

Демонстрация манипуляции выводом

Концепции LLMOps

Угроза: отказ в обслуживании

  • Пользователи перегружают LLM-приложение запросами, что приводит к значительным затратам, снижению доступности и производительности

  • Методы защиты:

    • Ограничение частоты запросов
    • Ограничение потребления ресурсов на запрос

 

Иллюстрация атаки типа «отказ в обслуживании»

Концепции LLMOps

Угроза: целостность данных и их отравление

  • Отравление данных — внедрение ложных, вводящих в заблуждение или вредоносных данных в обучающую выборку

    • Данные могут содержать защищённые авторским правом или персональные сведения
    • Содержимое может быть вредоносным

  • Методы защиты:

    • Используйте проверенные источники и подтверждайте их подлинность
    • Применяйте фильтры
    • Цензурируйте вывод

Текстовые документы, один из которых является отравленным

Концепции LLMOps

Защита системы

Иллюстрация с мультяшным персонажем, на которого падает объект

 

  • Применяйте актуальные стандарты безопасности и внедряйте стратегии защиты
  • Всегда оценивайте систему с точки зрения злоумышленника
  • Следите за обновлениями — см. Open Web Application Security Project (OWASP)
1 OWASP for LLMs: https://llmtop10.com/
Концепции LLMOps

Давайте потренируемся!

Концепции LLMOps

Preparing Video For Download...