Covariate shift là gì?

Các khái niệm Giám sát Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Định nghĩa

biến đồng biến $=$ đặc trưng đầu vào
$P(X)$ thay đổi
xác suất có điều kiện $P(Y|X)$ giữ nguyên
thay đổi trong phân phối chung của các biến đồng biến

Vì sao xét phân phối xác suất chung?

Biểu đồ minh họa tương quan dương và âm giữa đặc trưng 1 và 2. Tuần 10 có tương quan dương (màu xanh), tuần 16 có tương quan âm (màu đỏ).

Vì sao xảy ra covariate shift?

Các nguyên nhân có thể gây covariate shift:

Thế giới không tĩnh — mẫu và xu hướng thay đổi
Thay đổi nguồn dữ liệu — khác biệt cách thu thập giữa kiểm thử và sản xuất
Hệ thống và môi trường tiến hóa

Covariate shift diễn ra như thế nào?

Động lực thay đổi của phân phối:

Đột ngột

Dần dần

Theo mùa

Hình minh họa thay đổi đột ngột trong phân phối: ban đầu là các điểm màu xanh, sau một thời điểm chuyển ngay sang đỏ.

Hình minh họa thay đổi dần dần: ban đầu là điểm xanh, theo thời gian chuyển dần sang đỏ rồi quay lại xanh. Lúc đầu chỉ một điểm đổi màu, sau đó toàn bộ phân phối thành đỏ.

Hình minh họa thay đổi theo mùa: ban đầu là điểm xanh, sau một thời gian chuyển sang đỏ rồi lại quay về xanh. Chu kỳ lặp lại, thể hiện tính chu kỳ.

Phát hiện covariate shift như thế nào?

Phương pháp đơn biến

Phân phối giá trị sản lượng theo tháng từ tháng 9 đến tháng 3. Có bảy phân phối. Từ 9 đến 12, phân phối tương tự, thay đổi nhỏ trong phạm vi chấp nhận được (màu xanh). Từ 1 đến 3, phân phối thu hẹp, trung bình giảm, nên chuyển sang màu đỏ do thay đổi đáng kể.

Phương pháp đa biến

Quy trình phát hiện trôi đa biến: dữ liệu đa chiều được nén vào không gian ẩn rồi giải nén về dạng ban đầu với một sai số nhất định.

¹ https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python

Ayo berlatih!

Các khái niệm Giám sát Machine Learning