거버넌스와 보안

LLMOps 개념

Max Knobbout, PhD

Applied Scientist, Uber

LLM 수명주기: 거버넌스와 보안

LLM 애플리케이션 수명주기 단계 개요

LLMOps 개념

거버넌스와 보안

 

빨간불을 가리키는 경찰의 장난스러운 이미지

 

  • 거버넌스: 정책, 가이드라인, 프레임워크를 포함
  • 보안: 다음을 방지하기 위한 조치
    • 무단 접근
    • 데이터 유출
    • 적대적 공격
    • 모델의 출력/기능 남용 또는 조작 가능성
LLMOps 개념

접근 제어

  • RBAC(역할 기반 접근 제어) 사용

  • 모든 API는 보안 표준을 준수해야 함

  • 제로 트러스트 보안 모델 적용

  • 외부 정보 접근 시 애플리케이션이 올바른 역할을 가정하도록 보장

 

LLM 애플리케이션이 사용자의 역할을 가정하는 API 흐름

LLMOps 개념

위협: 프롬프트 인젝션

  • 프롬프트 인젝션: 공격자가 입력 필드/프롬프트를 조작해 무단 명령이나 동작을 실행하게 함
  • 대응책:
    • 프롬프트 지침은 무력화되고 내용은 노출될 수 있다고 가정
    • LLM을 신뢰하지 않는 사용자로 취급
    • 알려진 적대적 프롬프트 식별(및 차단)

프롬프트 인젝션 시연

LLMOps 개념

위협: 출력 조작

  • LLM 출력은 후속 공격에 악용될 수 있습니다.
  • 사용자를 대신해 악성 작업을 실행
  • 대응책:
    • 애플리케이션에 불필요한 권한 부여 금지
    • 특정 원치 않는 출력을 검열·차단

출력 조작 시연

LLMOps 개념

위협: 서비스 거부(DoS)

  • 사용자가 LLM 앱에 요청을 과도하게 보내 비용·가용성·성능에 큰 문제를 유발

  • 대응책:

    • 요청 속도 제한
    • 요청별 자원 사용 상한 설정

 

서비스 거부 공격 이미지

LLMOps 개념

위협: 데이터 무결성 및 중독

  • 데이터 중독은 허위·오도·악성 데이터를 학습 세트에 주입합니다

    • 데이터에 저작권/개인정보가 포함될 수 있음
    • 유해한 콘텐츠일 수 있음

  • 대응책:

    • 신뢰할 수 있는 출처만 사용하고 적법성 검증
    • 필터 사용
    • 출력 검열

문서 모음 중 하나가 오염된 모습

LLMOps 개념

스스로 보호하기

만화 캐릭터가 떨어지는 물체에 맞는 장난스러운 이미지

 

  • 최신 보안 표준을 적용하고 대응 전략을 구현하십시오
  • 항상 악의적 사용자의 관점에서 시스템을 점검하십시오
  • 최신 동향을 확인하십시오. Open Web Application Security Project(OWASP) 참고
1 OWASP for LLMs: https://llmtop10.com/
LLMOps 개념

연습해 봅시다!

LLMOps 개념

Preparing Video For Download...