Kỹ thuật nhắc lệnh

Các khái niệm về LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Vòng đời LLM: Kỹ thuật nhắc lệnh

Tổng quan các giai đoạn vòng đời ứng dụng LLM

Các khái niệm về LLMOps

Chu trình phát triển

Tổng quan ban đầu về vòng đời phát triển, sẽ được tinh chỉnh trong chương này

Các khái niệm về LLMOps

Vì sao kỹ thuật nhắc lệnh quan trọng?

 

Nhân vật hoạt hình vui nhộn dạy về prompts

 

 

  • Cải thiện hiệu suất
  • Kiểm soát đầu ra
  • Tránh thiên lệch và ảo tưởng
Các khái niệm về LLMOps

Thành phần của một prompt

 

 

  1. Chỉ dẫn
  2. Ví dụ / Ngữ cảnh
  3. Dữ liệu đầu vào
  4. Chỉ thị đầu ra

Ví dụ về một prompt gồm chỉ dẫn, ví dụ, đầu vào và đầu ra

Các khái niệm về LLMOps

Tìm prompt tối ưu

 

 

Hình ảnh hai nhân vật hoạt hình chơi ở sân chơi

 

Hãy thử nghiệm với:

  • Thiết lập LLM, như temperature, max tokens
  • Học trong ngữ cảnh và các mẫu thiết kế prompt khác

 

Dùng playground để thử nghiệm!

Các khái niệm về LLMOps

Quản lý prompt

 

 

Nhân vật hoạt hình vui nhộn lưu trữ các prompt trong hộp

  • Then chốt cho hiệu suất, tái lập, và cộng tác
  • Cần theo dõi:
    • Prompt
    • Đầu ra
    • Mô hình và thiết lập
  • Dùng trình quản lý prompt hoặc kiểm soát phiên bản
  • Bắt đầu thu thập cặp đầu vào–đầu ra tốt để đánh giá
Các khái niệm về LLMOps

Mẫu prompt để tái sử dụng

Hình ảnh một prompt ở bên trái và một mẫu prompt ở bên phải, nêu bật sự khác biệt giữa chúng

Các khái niệm về LLMOps

Chu trình phát triển

Tổng quan ban đầu về vòng đời phát triển, sẽ được tinh chỉnh trong chương này

Các khái niệm về LLMOps

Chu trình phát triển

Chu trình phát triển có bổ sung hoạt động kỹ thuật nhắc lệnh

Các khái niệm về LLMOps

Ayo berlatih!

Các khái niệm về LLMOps

Preparing Video For Download...