Kiểm thử

Các khái niệm về LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Vòng đời LLM: Kiểm thử

Tổng quan các giai đoạn vòng đời ứng dụng LLM

Vì sao cần kiểm thử?

LLM có thể sai
Kiểm thử rất quan trọng để đánh giá mức sẵn sàng triển khai
Ta sẽ đánh giá đầu ra

ML truyền thống vs. kiểm thử ứng dụng LLM

Machine learning có giám sát truyền thống:

Cần dữ liệu train và test có nhãn
Chỉ số nhấn mạnh độ chính xác hoặc gần với mục tiêu

Hình tập train và test cho ML truyền thống

Ứng dụng LLM:

Cần dữ liệu test, không nhất thiết có nhãn
Đánh giá chất lượng đầu ra bằng nhiều chỉ số

Hình tập train và test cho ứng dụng LLM

Bước 1: Xây dựng tập kiểm thử

Xây dựng tập kiểm thử nay đã xong
Dữ liệu test phải sát tình huống thực tế
Có nhiều công cụ hỗ trợ quy trình này

Bước 2: Chọn chỉ số đánh giá

Nếu có đáp án đúng...

... dùng chỉ số ML. Ví dụ:
- Accuracy

Lưu đồ chỉ tới "Use ML metrics"

Bước 2: Chọn chỉ số đánh giá

Nếu có đáp án tham chiếu...

... dùng phương pháp thống kê.
... dùng phương pháp dựa trên mô hình. Ví dụ:
- LLM judges

Lưu đồ chỉ tới "Use text comparison metrics"

Bước 2: Chọn chỉ số đánh giá

Nếu có phản hồi của người dùng...

... để con người chấm điểm văn bản. Ví dụ:
- Chất lượng
- Mức độ liên quan
- Tính mạch lạc
... dùng cách tiếp cận dựa trên mô hình. Ví dụ:
- Dự đoán điểm dựa trên phản hồi trước đây
- Hỏi LLM judge xem phản hồi đã được áp dụng chưa

Lưu đồ chỉ tới "Use feedback score metrics"

Bước 2: Chọn chỉ số đánh giá

Nếu không có phản hồi của con người...

... dùng chỉ số không giám sát. Ví dụ:
- Tính mạch lạc
- Độ trôi chảy
- Đa dạng

Lưu đồ chỉ tới "Use unsupervised metrics"

Bước 3: Xác định chỉ số phụ tùy chọn

Đặc tính đầu ra:

🎭 Thiên lệch
☠ Độc hại
🤝 Hữu ích

Đặc tính vận hành:

⏱ Độ trễ
💰 Tổng chi phí phát sinh
💻 Mức dùng bộ nhớ

Chu trình phát triển

Chu trình phát triển có thêm hoạt động fine-tuning

Chu trình phát triển

Chu trình phát triển có thêm hoạt động kiểm thử

Chu trình phát triển

Chu trình phát triển có thêm hoạt động kiểm thử

Chu trình phát triển

Chu trình phát triển có thêm hoạt động triển khai

Ayo berlatih!

Các khái niệm về LLMOps

Preparing Video For Download...