Quản trị và bảo mật

Các khái niệm về LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Vòng đời LLM: Quản trị và bảo mật

Tổng quan các giai đoạn vòng đời ứng dụng LLM

Các khái niệm về LLMOps

Quản trị và bảo mật

 

Hình vui: cảnh sát chỉ vào đèn đỏ

 

  • Quản trị gồm chính sách, hướng dẫn, khung làm việc
  • Bảo mật gồm biện pháp ngăn:
    • Truy cập trái phép
    • Rò rỉ dữ liệu
    • Tấn công đối kháng
    • Lạm dụng hoặc thao túng đầu ra hay khả năng của mô hình
Các khái niệm về LLMOps

Kiểm soát truy cập

  • Dùng Kiểm soát truy cập theo vai trò (RBAC)

  • Mọi API phải tuân thủ chuẩn bảo mật

  • Dùng mô hình bảo mật zero trust

  • Đảm bảo ứng dụng nhận đúng vai trò khi truy cập thông tin bên ngoài

 

Luồng API nơi ứng dụng LLM giả định vai trò của người dùng

Các khái niệm về LLMOps

Mối đe dọa: Tiêm prompt

  • Tiêm prompt: Kẻ tấn công thao túng trường nhập hoặc prompt trong ứng dụng để thực thi lệnh/hành vi trái phép.
  • Giảm thiểu:
    • Giả định hướng dẫn prompt có thể bị ghi đè và nội dung bị lộ
    • Xem LLM như người dùng không tin cậy
    • Nhận diện (và chặn) prompt đối kháng đã biết

Minh họa một cuộc tấn công tiêm prompt

Các khái niệm về LLMOps

Mối đe dọa: Thao túng đầu ra

  • Đầu ra của LLM có thể bị lợi dụng cho các cuộc tấn công hạ nguồn.
  • Thực thi hành vi độc hại thay mặt người dùng
  • Giảm thiểu:
    • Không cấp quyền/đặc quyền không cần thiết cho ứng dụng
    • Kiểm duyệt và chặn các đầu ra không mong muốn cụ thể

Minh họa thao túng đầu ra

Các khái niệm về LLMOps

Mối đe dọa: Từ chối dịch vụ

  • Người dùng gửi dồn dập yêu cầu tới ứng dụng LLM, gây tốn kém lớn và ảnh hưởng đến khả dụng, hiệu năng

  • Giảm thiểu:

    • Giới hạn tốc độ yêu cầu
    • Giới hạn tài nguyên cho mỗi yêu cầu

 

Hình ảnh mô tả tấn công từ chối dịch vụ

Các khái niệm về LLMOps

Mối đe dọa: Tính toàn vẹn dữ liệu và đầu độc

  • Đầu độc dữ liệu: chèn dữ liệu sai, gây hiểu lầm hoặc độc hại vào tập huấn luyện

    • Dữ liệu có thể chứa nội dung có bản quyền và/hoặc thông tin cá nhân
    • Nội dung có thể gây hại

  • Giảm thiểu:

    • Dùng nguồn tin cậy và xác minh tính hợp lệ
    • Dùng bộ lọc
    • Kiểm duyệt đầu ra

Hình ảnh các tài liệu văn bản, trong đó một tài liệu bị đầu độc

Các khái niệm về LLMOps

Tự bảo vệ

Hình vui: nhân vật hoạt hình bị vật thể rơi trúng

 

  • Áp dụng chuẩn bảo mật mới nhất và các chiến lược giảm thiểu
  • Luôn giả định góc nhìn của kẻ tấn công nhắm vào hệ thống
  • Cập nhật thường xuyên, tham khảo Open Web Application Security Project (OWASP)
1 OWASP cho LLM: https://llmtop10.com/
Các khái niệm về LLMOps

Ayo berlatih!

Các khái niệm về LLMOps

Preparing Video For Download...