Giám sát hiệu suất kỹ thuật trực tiếp

Các khái niệm Giám sát Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Quan hệ giữa dịch chuyển đồng biến và hiệu suất

Ba dạng dịch chuyển đồng biến:

  • Dịch chuyển đến các vùng nhất định

    • nhiều người thu nhập cao hơn nộp đơn vay

  • Dịch chuyển đến các vùng ít đại diện

    • 10% người làm công nghệ nộp đơn thay vì 0,5% trong dữ liệu huấn luyện

  • Dịch chuyển đến các vùng kém chắc chắn

    • tỷ lệ người thu nhập trung bình gần ranh giới quyết định tăng từ 20% lên 40%

 

-> Không ảnh hưởng

 

-> Ảnh hưởng chưa rõ

 

-> Ảnh hưởng tiêu cực

Các khái niệm Giám sát Machine Learning

Ảnh hưởng tiêu cực chắc chắn

 
 
 
 

Dịch chuyển đến vùng kém chắc chắn luôn làm giảm hiệu suất

Hình trực quan giai đoạn huấn luyện làm nổi bật vùng mô hình kém chắc chắn nhất. Trong sản xuất, có nhiều người rơi vào vùng này hơn trước.

Các khái niệm Giám sát Machine Learning

Vấn đề cảnh báo sai

Hình hiển thị các chấm đại diện cho cảnh báo, và cách các chấm quan trọng có thể bị chìm khi có quá nhiều cảnh báo

Các khái niệm Giám sát Machine Learning

Tầm quan trọng của hiệu suất kỹ thuật

  • Thước đo trực tiếp mức mô hình hoàn thành nhiệm vụ

 

  • Phản ánh mọi lỗi mô hình không lộ diện

 

  • Tránh quá tải do cảnh báo sai

Hình cho thấy một phần sơ đồ giám sát: Hộp "Giám sát hiệu suất"; bên dưới là hộp nét đứt hỏi "mô hình còn hoạt động tốt không"; bên phải là hình thoi "suy giảm hiệu suất"; mũi tên sang phải với "có" phía trên; mũi tên vòng lại hộp giám sát với "không" phía trên.

Các khái niệm Giám sát Machine Learning

Ayo berlatih!

Các khái niệm Giám sát Machine Learning

Preparing Video For Download...