Tổng quan về LLMOps

Các khái niệm về LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Bạn sẽ học gì trong khóa này

Minh họa vui về một cuốn sách ngồi bàn học

 

  • LLMOps giúp quản lý, triển khai và duy trì ứng dụng mô hình ngôn ngữ lớn hiệu quả
  • Nội dung gồm:
    • Kiến thức nền tảng
    • Vòng đời ứng dụng LLM
    • Thách thức và cân nhắc
1 Minh họa bởi Manfred Steger @ Pixabay
Các khái niệm về LLMOps

Ôn tập về LLM

 

 

LLM là gì?
  • 📚 Huấn luyện trên lượng lớn văn bản
  • 🧠 Hiểu và tạo văn bản như con người
  • 💡 Là bước đột phá của AI

 

 

Điểm khác biệt?
  • 🏋 Thường được tiền huấn luyện
  • 🐘 Rất nhiều tham số
  • 💻 Tốn tài nguyên tính toán lớn
  • 🎲 Khó đoán
Các khái niệm về LLMOps

Khởi đầu...

  • Truy vấn được đưa trực tiếp vào mô hình
  • Tập trung vào vận hành mô hình
  • Chỉ đưa dữ liệu vào khi fine-tune mô hình

Một pipeline đơn giản: truy vấn vào LLM và sinh đầu ra

Các khái niệm về LLMOps

... và hiện tại

  • Tích hợp dữ liệu tổ chức trước khi sinh văn bản
  • Gồm các bước xử lý và biến đổi dữ liệu
  • Gọi một hoặc nhiều mô hình, cho văn bản, hình ảnh, hoặc đa phương thức

Kết quả là các ứng dụng LLM trong khóa học này

Hình ảnh một pipeline LLM phức tạp

Các khái niệm về LLMOps

Nhu cầu về LLMOps

 

 

Tích hợp liền mạch

Các khái niệm về LLMOps

Nhu cầu về LLMOps

 

 

Chuyển giai đoạn vòng đời mượt mà

Các khái niệm về LLMOps

Nhu cầu về LLMOps

 

 

Quản lý hiệu quả, mở rộng tốt

Các khái niệm về LLMOps

LLMOps so với MLOps

Các khái niệm về LLMOps

LLMOps so với MLOps

Một số khác biệt:

LLMOps MLOps
Kích thước mô hình Lớn Thường nhỏ hơn
Dữ liệu Văn bản Mọi loại dữ liệu
Mô hình tiền huấn luyện Thường có Thường không
Cải thiện mô hình Prompt engineering & fine-tune Kỹ thuật đặc trưng & chọn mô hình
Khả năng khái quát Mục đích chung Phạm vi cố định
Độ khó đoán Cao Thấp
Đầu ra Chủ yếu văn bản Theo tác vụ
Các khái niệm về LLMOps

¡Vamos a practicar!

Các khái niệm về LLMOps

Preparing Video For Download...