Triển khai

Các khái niệm về LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Vòng đời LLM: Triển khai

Tổng quan các giai đoạn vòng đời ứng dụng LLM

Các khái niệm về LLMOps

Chuyển sang triển khai

 

 

Hình vui: nhân vật hoạt hình kéo một chiếc hộp

 

 

  • Không có giải pháp chung cho mọi trường hợp!
  • Ứng dụng có thể gồm logic chain/agent, cơ sở dữ liệu vector, LLM, v.v.
  • Mỗi thành phần cần được triển khai và phối hợp
Các khái niệm về LLMOps

Bước 1: Chọn hình thức lưu trữ

  • Đám mây riêng/công cộng hoặc on‑premise
  • Nhiều nhà cung cấp đám mây có giải pháp lưu trữ và triển khai LLM

Lưu trữ

Các khái niệm về LLMOps

Bước 2: Thiết kế API

  • API giúp các phần mềm giao tiếp với nhau
  • Thiết kế ảnh hưởng mở rộng, chi phí, hạ tầng
  • Bảo mật rất quan trọng, kiểm soát bằng API key!

Thiết kế API

Các khái niệm về LLMOps

Bước 3: Cách chạy

  • Tùy chọn:

    1. Containers
    2. Hàm serverless
    3. Dịch vụ đám mây quản lý

  • Ưu/nhược: chi phí, khả năng mở rộng, hiệu suất, linh hoạt

Logo Docker

Kiến trúc thực thi

Các khái niệm về LLMOps

CI/CD

Tích hợp liên tục (CI):

  1. Source: Lấy mã nguồn
  2. Build: Tạo image container chứa mã
  3. Test: Chạy kiểm thử tích hợp
  4. Register: Lưu container vào registry

Triển khai liên tục (CD):

  1. Retrieve: Lấy container từ registry
  2. Test: Kiểm thử triển khai
  3. Deploy: Triển khai container tới:
    • Staging
    • Production
Các khái niệm về LLMOps

Mở rộng

 

Hình vui: các nhân vật hoạt hình xây robot cỡ lớn

 

  • LLM có thể cần GPU chuyên dụng.

  • Chiến lược mở rộng:

    1. Ngang: Thêm máy
    2. Dọc: Tăng sức một máy

  • Ngang cho lưu lượng; dọc cho độ ổn định và tốc độ

Các khái niệm về LLMOps

Ayo berlatih!

Các khái niệm về LLMOps

Preparing Video For Download...