Zarządzanie i bezpieczeństwo

Koncepcje LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cykl życia LLM: Zarządzanie i bezpieczeństwo

Przegląd faz cyklu życia aplikacji LLM

Koncepcje LLMOps

Zarządzanie i bezpieczeństwo

 

Zabawna ilustracja policjanta wskazującego na czerwone światło

 

  • Zarządzanie obejmuje polityki, wytyczne i ramy działania
  • Bezpieczeństwo obejmuje środki zapobiegające:
    • Nieautoryzowanemu dostępowi
    • Naruszeniom danych
    • Atakom adversarialnym
    • Niewłaściwemu wykorzystaniu lub manipulacji wynikami i możliwościami modelu
Koncepcje LLMOps

Kontrola dostępu

  • Stosowanie kontroli dostępu opartej na rolach (RBAC)

  • Wszystkie interfejsy API muszą spełniać standardy bezpieczeństwa

  • Stosowanie modelu zerowego zaufania

  • Aplikacja powinna przyjmować właściwą rolę podczas dostępu do zewnętrznych informacji

 

Przepływ API, w którym aplikacja LLM przyjmuje rolę użytkownika

Koncepcje LLMOps

Zagrożenie: Prompt injection

  • Prompt injection: Atakujący manipulują polami wejściowymi lub promptami w aplikacji, aby wykonać nieautoryzowane polecenia.
  • Środki zaradcze:
    • Zakładać, że instrukcje promptów mogą zostać nadpisane i ich treść ujawniona
    • Traktować LLM jako niezaufanego użytkownika
    • Identyfikowanie (i blokowanie) znanych złośliwych promptów

Demonstracja ataku prompt injection

Koncepcje LLMOps

Zagrożenie: Manipulacja wynikami

  • Wyniki LLM mogą być wykorzystane w atakach downstream.
  • Wykonywanie złośliwych działań w imieniu użytkownika
  • Środki zaradcze:
    • Nie przyznawać aplikacji zbędnych uprawnień
    • Cenzurowanie i blokowanie niepożądanych wyników

Demonstracja manipulacji wynikami

Koncepcje LLMOps

Zagrożenie: Odmowa usługi (DoS)

  • Użytkownicy zalewają aplikację LLM żądaniami, powodując wysokie koszty oraz problemy z dostępnością i wydajnością

  • Środki zaradcze:

    • Ograniczenie liczby żądań
    • Limitowanie zasobów na żądanie

 

Ilustracja ataku denial of service

Koncepcje LLMOps

Zagrożenie: Integralność danych i zatruwanie

  • Zatruwanie danych polega na wprowadzeniu fałszywych lub złośliwych danych do zbioru treningowego

    • Dane mogą zawierać treści chronione prawem autorskim lub dane osobowe
    • Treści mogą być szkodliwe

  • Środki zaradcze:

    • Korzystanie z zaufanych źródeł i weryfikacja ich wiarygodności
    • Stosowanie filtrów
    • Cenzurowanie wyników

Dokumenty tekstowe, w których jeden jest zatrute

Koncepcje LLMOps

Jak się chronić

Zabawna ilustracja postaci z kreskówki atakowanej przez spadający obiekt

 

  • Stosowanie aktualnych standardów bezpieczeństwa i wdrażanie strategii zaradczych
  • Zawsze przyjmować perspektywę złośliwego użytkownika atakującego system
  • Śledzenie aktualizacji – patrz: Open Web Application Security Project (OWASP)
1 OWASP for LLMs: https://llmtop10.com/
Koncepcje LLMOps

Czas na ćwiczenia!

Koncepcje LLMOps

Preparing Video For Download...