Giai đoạn hình thành ý tưởng

Các khái niệm về LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Vòng đời LLM: Giai đoạn ý tưởng

Tổng quan các giai đoạn vòng đời ứng dụng LLM

Các khái niệm về LLMOps

Tìm nguồn dữ liệu

 

Hình minh họa vui về nhân vật hoạt hình cầm các nguồn dữ liệu khác nhau

 

  • Xác định nhu cầu

 

  • Tìm nguồn

 

  • Đảm bảo khả năng truy cập
Các khái niệm về LLMOps

Tìm nguồn dữ liệu

 

Hình minh họa vui về nhân vật hoạt hình cầm các nguồn dữ liệu khác nhau

  1. Dữ liệu có liên quan không?
  2. Dữ liệu có sẵn không?
    • Chuyển đổi dữ liệu
    • Thiết lập CSDL bổ sung
    • Đánh giá chi phí
    • Xem xét hạn chế truy cập khác
  3. Dữ liệu có đạt chuẩn không?
    • Liên quan chất lượng và quản trị
Các khái niệm về LLMOps

Chọn mô hình nền tảng

  • Mô hình tiền huấn luyện:

Hình mô hình tiền huấn luyện

  • Độc quyền hay mã nguồn mở?
Các khái niệm về LLMOps

Mô hình độc quyền (sở hữu tư nhân)

Ưu điểm:

  • Dễ thiết lập và sử dụng
  • Đảm bảo chất lượng
  • Tin cậy, nhanh, sẵn sàng

 

Hạn chế:

  • Cần lộ dữ liệu
  • Tùy biến

Ví dụ:

Logo của các mô hình LLM độc quyền

Các khái niệm về LLMOps

Mã nguồn mở (truy cập công khai)

Ưu điểm:

  • Tự lưu trữ nội bộ
  • Minh bạch
  • Tùy biến hoàn toàn

 

Hạn chế:

  • Hỗ trợ
  • Mục đích thương mại

 

Ví dụ: Logo Meta Llama 3

 

Tải từ: Logo Hugging Face

Các khái niệm về LLMOps

Yếu tố khi chọn mô hình

1. Hiệu năng ⭐

  • Chất lượng phản hồi
  • Tốc độ

Biểu tượng về hiệu năng

2. Đặc tính mô hình ⭐

  • Dữ liệu dùng để huấn luyện
  • Kích thước cửa sổ ngữ cảnh
  • Khả năng tinh chỉnh

Biểu tượng về đặc tính mô hình

Các khái niệm về LLMOps

Yếu tố khi chọn mô hình

3. Yếu tố thực tiễn ⭐

  • Giấy phép
  • Chi phí
  • Tác động môi trường

Biểu tượng về yếu tố thực tiễn

4. Yếu tố phụ

  • Số tham số
  • Mức độ phổ biến

Biểu tượng về yếu tố phụ

Các khái niệm về LLMOps

Ayo berlatih!

Các khái niệm về LLMOps

Preparing Video For Download...