Apa itu concept drift?

Konsep Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Definisi

Perubahan hubungan antara input model dan target

$P(Y|X)$ berubah, $P(X)$ tetap

Gambar menunjukkan perubahan hubungan antara pendapatan dan usia di produksi dibandingkan lingkungan pelatihan.

Mengapa drift terjadi?

Peristiwa eksternal
- tren viral, perubahan kebijakan
Musiman yang tidak dimodelkan
- mis. peramalan permintaan saat Black Friday atau Natal
Perubahan proses pembangkitan data
- pembaruan baru pada aplikasi pengumpulan data
Perilaku pengguna yang berkembang
- kebiasaan, pola, preferensi selalu berubah

Dinamika concept drift

Drift mendadak — konsep baru muncul dalam waktu singkat

Drift bertahap — konsep baru perlahan menggantikan yang lama

Berulang — konsep lama muncul kembali seiring waktu

Gambar menampilkan teks Covid-19.

Gambar menampilkan uang kertas dolar AS.

Gambar menampilkan poster diskon 50% saat Black Friday.

Dampak covariate shift pada concept drift

Negatif
- dampak concept drift menurun

Positif
- dampak concept drift meningkat

Gambar mengilustrasikan pergeseran kovariat antara pelatihan dan produksi. Fitur pendapatan bergeser dari 80k/tahun ke 100k/tahun. Grafik kedua menunjukkan concept drift: perubahan hubungan antara pendapatan dan prediksi gagal bayar pinjaman. Akibatnya, probabilitas gagal bayar lebih tinggi untuk pemohon berpendapatan lebih rendah.

Gambar mengilustrasikan pergeseran kovariat antara pelatihan dan produksi. Fitur pendapatan bergeser dari 80k/tahun ke 60k/tahun. Grafik kedua menunjukkan concept drift: perubahan hubungan antara pendapatan dan prediksi gagal bayar pinjaman. Akibatnya, probabilitas gagal bayar lebih tinggi untuk pemohon berpendapatan lebih rendah.

Ayo berlatih!

Konsep Monitoring Machine Learning