Concept drift là gì?

Các khái niệm Giám sát Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Định nghĩa

  • Thay đổi quan hệ giữa đầu vào mô hình và mục tiêu
  • $P(Y|X)$ thay đổi, $P(X)$ giữ nguyên

Hình minh họa sự thay đổi quan hệ giữa thu nhập và tuổi ở môi trường sản xuất so với huấn luyện.

Các khái niệm Giám sát Machine Learning

Vì sao xảy ra drift?

  • Sự kiện bên ngoài
    • xu hướng lan truyền, thay đổi chính sách
  • Tính mùa vụ chưa mô hình hóa
    • ví dụ dự báo nhu cầu cho Black Friday hoặc Giáng Sinh

  • Thay đổi quy trình tạo dữ liệu

    • cập nhật mới cho ứng dụng thu thập dữ liệu

  • Hành vi người dùng thay đổi

    • thói quen, mẫu hình, sở thích luôn biến động
Các khái niệm Giám sát Machine Learning

Động lực của concept drift

  • Drift đột ngột - khái niệm mới xuất hiện trong thời gian ngắn

 

  • Drift dần dần - khái niệm mới thay thế dần khái niệm cũ

 

  • Tái diễn - khái niệm cũ lặp lại theo thời gian

Hình có chữ Covid-19.

Hình ảnh các tờ tiền đô la Mỹ.

Áp phích giảm giá 50% dịp Black Friday.

Các khái niệm Giám sát Machine Learning

Tác động của covariate shift lên concept drift

  • Âm
    • tác động của concept drift giảm dần

 

 

  • Dương
    • tác động của concept drift tăng lên

Hình minh họa covariate shift giữa giai đoạn huấn luyện và sản xuất. Cụ thể, đặc trưng thu nhập dịch chuyển từ 80k/năm lên 100k/năm. Ở đồ thị thứ hai, hình thể hiện concept drift: quan hệ giữa thu nhập và dự đoán vỡ nợ thay đổi, làm tăng xác suất vỡ nợ với người có thu nhập thấp.

Hình minh họa covariate shift giữa huấn luyện và sản xuất. Cụ thể, đặc trưng thu nhập dịch chuyển từ 80k/năm xuống 60k/năm. Ở đồ thị thứ hai, hình thể hiện concept drift: quan hệ giữa thu nhập và dự đoán vỡ nợ thay đổi, làm tăng xác suất vỡ nợ với người có thu nhập thấp.

Các khái niệm Giám sát Machine Learning

Ayo berlatih!

Các khái niệm Giám sát Machine Learning

Preparing Video For Download...