Ước tính hiệu năng

Các khái niệm Giám sát Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Tổng quan

Hai thuật toán ước tính hiệu năng:

  • CBPE - bài toán phân loại
  • DLE - bài toán hồi quy
Các khái niệm Giám sát Machine Learning

CBPE - Cách hoạt động

  • Ước tính ma trận nhầm lẫn

 

  • Cho phép tính các chỉ số phân loại như accuracy, precision, recall

 

  • Ghi nhận tác động của dịch chuyển hiệp biến lên mô hình

 

Hình minh họa thuật toán CBPE cho thấy cách hoạt động. Mô hình dự đoán dựa trên ví dụ đầu vào, rồi xác định lớp. Nếu dự đoán là 0.9 cho một ví dụ, lớp là dương vì > 0.5; nếu < 0.5 thì là âm. Quá trình này lặp cho toàn bộ dữ liệu, các độ tự tin được gộp lại để tạo ma trận nhầm lẫn ước tính.

Các khái niệm Giám sát Machine Learning

CBPE - Lưu ý

  • Không có dịch chuyển hiệp biến ở vùng chưa thấy

 

  • Không có trôi khái niệm trong dữ liệu vào

 

  • Cần hiệu chỉnh xác suất
Các khái niệm Giám sát Machine Learning

DLE - Cách hoạt động

  • Dự đoán sai số tuyệt đối của mô hình

 

  • Dùng mô hình con bên ngoài

 

  • Cho phép tính các chỉ số hồi quy như MAE, MSE, MSLE

 

  • Phát hiện dịch chuyển hiệp biến trong dữ liệu vào

Hình mô tả quy trình ước tính hiệu năng cho bài toán hồi quy trong sản xuất. Dữ liệu phân tích được đưa vào mô hình để dự đoán. Các dự đoán cùng dữ liệu phân tích được chuyển cho mô hình con để dự đoán sai số. Từ dự đoán sai số đó, tính các chỉ số hồi quy khác để đánh giá hiệu năng mô hình.

Các khái niệm Giám sát Machine Learning

DLE - Lưu ý

  • Không có dịch chuyển hiệp biến ở vùng chưa thấy

 

  • Không có trôi khái niệm trong dữ liệu vào

 

  • Phức tạp hơn
Các khái niệm Giám sát Machine Learning

Ayo berlatih!

Các khái niệm Giám sát Machine Learning

Preparing Video For Download...