Cách phát hiện dịch chuyển đồng biến

Các khái niệm Giám sát Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Phát hiện trôi đa biến

  • Tìm thay đổi trong phân phối liên hợp

 

 

  • Dùng thuật toán PCA để nén dữ liệu

 

 

  • Dùng lỗi tái tạo để đo độ trôi

Hình cho thấy quy trình phát hiện trôi đa biến: dữ liệu nhiều chiều được nén vào không gian ẩn rồi giải nén về dạng gốc với một sai số tái tạo nhất định.

Biểu đồ minh họa biến động theo thời gian của lỗi trôi tái tạo dữ liệu.

Các khái niệm Giám sát Machine Learning

Phát hiện trôi đơn biến

Kiểu biến:

  • Phân loại - biểu diễn các loại dữ liệu có thể chia nhóm như tình trạng hôn nhân, hút thuốc, trình độ học vấn

 

  • Liên tục - biến có vô số giá trị thực trong một khoảng, như chiều cao, cân nặng, quãng đường, thời gian
Các khái niệm Giám sát Machine Learning

Phương pháp liên tục - Jensen–Shannon

  • Đo độ tương đồng của hai phân phối

  • Miền [0, 1]

  • Bắt được các dịch chuyển nhỏ nhưng ý nghĩa

Hình minh họa thay đổi phân phối đo bằng khoảng cách Jensen–Shannon.

Các khái niệm Giám sát Machine Learning

Phương pháp liên tục - Wasserstein

  • Nỗ lực tối thiểu để biến một phân phối thành phân phối khác

  • Miền [0, +inf]

  • Nhạy với ngoại lệ

Hình minh họa thay đổi phân phối đo bằng khoảng cách Wasserstein.

Các khái niệm Giám sát Machine Learning

Phương pháp liên tục - Kolmogorov–Smirnov

  • Khoảng cách lớn nhất giữa các hàm phân phối tích lũy

  • Miền [0, 1]

  • Dễ dương tính giả

Hình minh họa thay đổi phân phối đo bằng khoảng cách Kolmogorov–Smirnov.

Các khái niệm Giám sát Machine Learning

Phương pháp liên tục - Hellinger

  • Mức chồng lấp giữa các phân phối
  • Miền [0, 1]
  • Không phân biệt được các dịch chuyển mạnh

 

Phương pháp liên tục - Khuyến nghị

  • Jensen–Shannon và Wasserstein thường cho kết quả tốt

Hình minh họa thay đổi phân phối đo bằng khoảng cách Hellinger.

Các khái niệm Giám sát Machine Learning

Phương pháp phân loại - Chi-bình phương

  • Nhạy với thay đổi ở các hạng mục tần suất thấp

Hình minh họa thống kê chi-bình phương cho biến phân loại với hai hạng mục, a và b.

Các khái niệm Giám sát Machine Learning

Phương pháp phân loại - L-infinity

  • Xác định dịch chuyển lớn nhất trên mọi hạng mục

Hình minh họa phương pháp L-infinity cho biến phân loại với ba hạng mục a, b và c.

Các khái niệm Giám sát Machine Learning

Phương pháp phân loại - Jensen–Shannon và Hellinger

  • Jensen–Shannon hoặc L-infinity khi có nhiều hạng mục
  • Khoảng cách L-infinity để phát hiện thay đổi ở từng hạng mục

Hình minh họa phương pháp Jensen–Shannon và Hellinger cho biến phân loại với ba hạng mục a, b và c.

Các khái niệm Giám sát Machine Learning

Ayo berlatih!

Các khái niệm Giám sát Machine Learning

Preparing Video For Download...