Quy trình giám sát lý tưởng

Các khái niệm Giám sát Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Quy trình giám sát

Quy trình giám sát truyền thống

Tính hiệu năng kỹ thuật
Cảnh báo dựa trên trôi dạt của dữ liệu đầu vào
Dẫn đến nhiều cảnh báo sai

Quy trình giám sát lý tưởng

Giám sát hiệu năng kỹ thuật
- Tính và ước lượng hiệu năng
Phân tích nguyên nhân gốc rễ
- Liên kết trôi dạt với suy giảm hiệu năng

Quy trình giám sát lý tưởng bắt đầu bằng giám sát hiệu năng. Nếu hiệu năng suy giảm, thực hiện phân tích nguyên nhân gốc rễ, và cuối cùng là xử lý sự cố.

Giám sát hiệu năng

Bao gồm:

Tính hiệu năng - cho chỉ số kỹ thuật như accuracy

Ước lượng hiệu năng - khi thiếu ground truth

Đo tác động kinh doanh - theo dõi KPI chính

Biểu đồ cho thấy accuracy theo thời gian giảm và vượt ngưỡng đặt ra.

Biểu đồ KPI theo thời gian cho thấy KPI nằm trong các ngưỡng quy định.

Phân tích nguyên nhân gốc rễ

Mục tiêu là điều tra:

Covariate shift - sự thay đổi phân phối dữ liệu đầu vào

Concept drift - thay đổi quan hệ giữa đặc trưng và mục tiêu

Biểu đồ cho thấy ranh giới quyết định giữa các vòng tròn xanh và đỏ cho mô hình đang hoạt động.

Biểu đồ cho thấy các vòng tròn xanh dịch chuyển vượt qua ranh giới quyết định, biểu thị covariate shift.

Biểu đồ minh họa thay đổi ranh giới quyết định, biểu thị concept drift.

Giải quyết sự cố

Giải pháp khả thi:

Huấn luyện lại - cần thêm dữ liệu và tài nguyên tính toán

Tái cấu trúc bài toán - xem xét lại và chọn phương pháp khác

Thay đổi quy trình hạ nguồn - điều chỉnh quy trình quanh dự đoán

Hình cho thấy bộ não số đại diện mô hình học máy và dấu cộng nối với cơ sở dữ liệu, biểu thị việc huấn luyện lại mô hình với nhiều dữ liệu hơn.

Hình cho thấy bảng vẽ với các câu hỏi về kỹ thuật đặc trưng, đặc trưng dùng, và hồi quy tuyến tính.

Hình cho thấy một người đang kiểm tra thủ công trên máy tính.

Ayo berlatih!

Các khái niệm Giám sát Machine Learning