Giám sát và khả năng quan sát
Các khái niệm về LLMOps
Max Knobbout, PhD
Applied Scientist, Uber
Vòng đời LLM: Giám sát và khả năng quan sát
Giám sát và khả năng quan sát
- Giám sát theo dõi hệ thống liên tục.
- Khả năng quan sát cho biết trạng thái nội bộ cho người quan sát bên ngoài.
- Nguồn dữ liệu cho khả năng quan sát:
- Nhật ký (logs)
- Chỉ số (metrics)
- Dấu vết (traces)
Giám sát đầu vào
- Giám sát đầu vào để phát hiện:
- Thay đổi
- Lỗi
- Nội dung độc hại
- Trôi dữ liệu là thay đổi phân phối dữ liệu đầu vào theo thời gian
- Xử lý trôi dữ liệu cần:
- Giám sát phân phối dữ liệu
- Cập nhật mô hình định kỳ
Giám sát chức năng
Ví dụ:
- Thời gian phản hồi
- Lượng yêu cầu
- Thời gian ngừng dịch vụ
- Tỷ lệ lỗi
Với ứng dụng LLM:
- Thực thi chain và agent
- Tài nguyên hệ thống (GPU)
- Chi phí
Giám sát đầu ra
- Dùng các chỉ số đã xác định khi kiểm thử, như:
- Thiên lệch
- Độc hại
- Hữu ích
- Trôi mô hình:
- Mối quan hệ giữa đầu vào và đầu ra thay đổi
- Kiểm duyệt là can thiệp chủ động
Xử lý cảnh báo
- Nhận thông báo khi có sự cố
- Có quy trình rõ ràng
- Có thể có Thỏa thuận Mức dịch vụ (SLA)
Ayo berlatih!
Các khái niệm về LLMOps
Preparing Video For Download...
