Quản lý chi phí

Các khái niệm về LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Vòng đời LLM: Quản lý chi phí

Tổng quan các giai đoạn vòng đời ứng dụng LLM

Các khái niệm về LLMOps

Quản lý chi phí

Hình minh họa vui tươi về một nhân vật với các phong bì chi phí

 

  • Tập trung vào chi phí mô hình
  • Chi phí có thể tăng theo lưu trữ và/hoặc sử dụng
    • Với mô hình tự lưu trữ, chi phí đến từ lưu trữ
    • Với mô hình bên ngoài, chi phí đến từ mức sử dụng
Các khái niệm về LLMOps

Phân tách chi phí LLM

Tự lưu trữ (mã nguồn mở)

  • Đám mây:
    • Thời gian máy chủ hoạt động
  • Tại chỗ:
    • Chi phí phần cứng
    • Bảo trì và điện

Lưu trữ bên ngoài (sở hữu độc quyền)

  • Độc quyền:
    • Số lần gọi
    • Số token mỗi lần gọi
Các khái niệm về LLMOps

Chiến lược 1: Chọn đúng mô hình

 

Hình minh họa vui tươi về một nhân vật chọn ngôi sao

 

 

  • Dùng mô hình tiết kiệm nhất nhưng vẫn đạt mục tiêu
  • Dùng nhiều mô hình theo tác vụ nhỏ hơn
  • Với tự lưu trữ, cân nhắc kỹ thuật giảm kích thước mô hình
Các khái niệm về LLMOps

Chiến lược 2: Tối ưu prompt

 

Hình minh họa vui tươi về một nhân vật vẽ ra ý tưởng

 

 

  • Dùng nén prompt tự động
  • Giảm nội dung:
    • Tối ưu quản lý "bộ nhớ trò chuyện"
    • Tối ưu RAG để trả về ít kết quả hơn
Các khái niệm về LLMOps

Chiến lược 3: Tối ưu số lần gọi

 

 

Hình minh họa vui tươi về một nhân vật đếm các phong bì trên đất

 

  • Dùng batching
  • Dùng bộ nhớ đệm phản hồi (nếu phù hợp)
  • Tối ưu (và giới hạn) số lần gọi agent
  • Thiết lập hạn ngạch và giới hạn tốc độ
  • Cân nhắc tác vụ không cần LLM
Các khái niệm về LLMOps

Chỉ số chi phí và dự báo

 

  • Quan trọng cần theo dõi:
    • Với tự lưu trữ, chi phí mỗi máy theo đơn vị thời gian
    • Với dịch vụ bên ngoài, chi phí mỗi phiên
  • Hiểu cách người dùng tăng và chi phí mở rộng theo tăng trưởng

Hình minh họa vui tươi về một nhân vật chỉ vào biểu đồ cột

Các khái niệm về LLMOps

Ayo berlatih!

Các khái niệm về LLMOps

Preparing Video For Download...