Chuỗi và tác tử

Các khái niệm về LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Vòng đời LLM: Chuỗi và tác tử

Từ prompt đến ứng dụng

 

• Để dùng mẫu này, cần:
  • Ví dụ
  • Đầu vào
• Các bước thực hiện:
  1. Nhận đầu vào
  2. Tìm ví dụ tương tự
  3. Tạo prompt
  4. Lấy đầu ra
  5. Phân tích đầu ra

Chuỗi dùng mẫu của chúng ta

 

Vì sao cần chuỗi

 

 

 

• Phát triển ứng dụng nâng cao
• Thiết kế mô-đun, tăng khả năng mở rộng và hiệu quả vận hành
• Mở ra vô số tùy biến

Tác tử

 

 

 

• Tác tử gồm:
  • Nhiều hành động (hoặc công cụ)
  • Một LLM quyết định hành động cần thực hiện

 

• Hữu ích khi:
  • Có nhiều hành động
  • Trình tự bước tối ưu chưa rõ
  • Đầu vào chưa chắc chắn

Tác tử

Tác tử

Tác tử

Khác biệt giữa chuỗi và tác tử

 

 

	Chuỗi 🔗	Tác tử 🤖
Bản chất	Quyết định tất định	Thích ứng
Độ phức tạp	Thấp	Cao
Tính linh hoạt	Thấp	Cao
Rủi ro	Thấp hơn (do dễ dự đoán)	Cao hơn (do tính thích ứng)

Chu trình phát triển

Chu trình phát triển

Chu trình phát triển

Ayo berlatih!

Các khái niệm về LLMOps