Керування та безпека

Концепції LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Життєвий цикл LLM: керування та безпека

Огляд фаз життєвого циклу застосунку LLM

Концепції LLMOps

Керування та безпека

 

Ігрове зображення поліцейського, що вказує на червоне світло

 

  • Керування охоплює політики, настанови та фреймворки
  • Безпека охоплює заходи проти:
    • Несанкціонованого доступу
    • Витоків даних
    • Атаки супротивника
    • Потенційного зловживання чи маніпуляції виходами або можливостями моделей
Концепції LLMOps

Керування доступом

  • Використовуйте Role Based Access Control (RBAC)

  • Усі API мають відповідати стандартам безпеки

  • Використовуйте zero trust security model

  • Забезпечте, щоб застосунок приймав коректну роль під час доступу до зовнішньої інформації

 

Потік API, де застосунок LLM приймає роль користувача

Концепції LLMOps

Загроза: Prompt injection

  • Prompt injection: зловмисники маніпулюють полями введення чи підказками в застосунку, щоб виконати несанкціоновані команди чи дії.
  • Пом'якшення:
    • Припускайте, що інструкції підказки можна перекрити, а вміст — розкрити
    • Сприймайте LLM як ненадійного користувача
    • Виявляйте (та блокуйте) відомі ворожі підказки

Демонстрація prompt injection

Концепції LLMOps

Загроза: Маніпуляція виходом

  • Вихід LLM можуть використати в подальших атаках.
  • Виконання шкідливих дій від імені користувача
  • Пом'якшення:
    • Не надавайте застосунку зайвих повноважень/дозволів
    • Цензуруйте й блокуйте небажані виходи

Демонстрація маніпуляції виходом

Концепції LLMOps

Загроза: Відмова в обслуговуванні

  • Користувачі завалюють наш застосунок LLM запитами, спричиняючи значні витрати, проблеми з доступністю та продуктивністю

  • Пом'якшення:

    • Обмежуйте частоту запитів
    • Лімітуйте ресурси на запит

 

Зображення атаки на відмову в обслуговуванні

Концепції LLMOps

Загроза: Цілісність даних і poisoning

  • Data poisoning впорскує хибні, оманливі або шкідливі дані в наш тренувальний набір

    • Дані можуть містити захищену авторським правом та/або персональну інформацію
    • Вміст може бути шкідливим

  • Пом'якшення:

    • Використовуйте надійні джерела та перевіряйте легітимність
    • Використовуйте фільтри
    • Цензурування виходів

Зображення текстових документів, один з яких отруєно

Концепції LLMOps

Як захиститися

Ігрове зображення мультгероя, на якого націлений падальний об'єкт

 

  • Використовуйте найновіші стандарти безпеки та впроваджуйте стратегії пом'якшення
  • Завжди мисліть як зловмисник, що націлює нашу систему
  • Слідкуйте за оновленнями, див. Open Web Application Security Project (OWASP)
1 OWASP for LLMs: https://llmtop10.com/
Концепції LLMOps

Давайте потренуємось!

Концепції LLMOps

Preparing Video For Download...