Thách thức khi giám sát mô hình ML

Các khái niệm Giám sát Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Thành phần của dự án học máy

Sơ đồ Venn với ba vòng tròn đại diện cho kỹ thuật phần mềm, phân tích dữ liệu và học máy; giao của cả ba là khoa học dữ liệu.

Các khái niệm Giám sát Machine Learning

Mô hình không đưa ra dự đoán

Vấn đề có thể gặp:

  • Rào cản ngôn ngữ - kết hợp nhiều ngôn ngữ lập trình bằng mã “keo”

 

  • Bảo trì mã - xung đột tương thích do cập nhật phụ thuộc

 

  • Vấn đề mở rộng - hạ tầng không đủ vững để phục vụ nhiều người dùng
Các khái niệm Giám sát Machine Learning

Dự đoán của mô hình thất bại

Dịch chuyển hiệp biến

  • Thay đổi phân phối đầu vào
  • Có thể phát hiện bằng phương pháp thống kê
  • Không phải mọi dịch chuyển đều ảnh hưởng hiệu suất

 

Biểu đồ mật độ so sánh độ tuổi khách hàng ở tập huấn luyện và sản xuất cho thấy tập huấn luyện lệch mạnh về tuổi thấp. Tập sản xuất có hình dạng tương tự nhưng có đỉnh ở tuổi cao hơn.

Dạt khái niệm

  • Thay đổi quan hệ giữa dữ liệu đầu vào và mục tiêu
  • Khó phát hiện
  • Gần như luôn ảnh hưởng đến tác động kinh doanh của mô hình

Có mối quan hệ giữa giá trị vòng đời khách hàng (CLV) và đặc trưng đầu vào Tuổi ở cả tập huấn luyện và sản xuất. Tuy nhiên, quan hệ thay đổi trong sản xuất, cho thấy dạt khái niệm.

Các khái niệm Giám sát Machine Learning

Tính sẵn có của ground truth

Hình ảnh một cửa hàng quần áo.

Các khái niệm Giám sát Machine Learning

Hãy luyện tập!

Các khái niệm Giám sát Machine Learning

Preparing Video For Download...