Czym jest dryfowanie konceptu?

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Hakim Elakhrass

Co-founder and CEO of NannyML

Definicja

Zmiana relacji między wejściami modelu a zmienną docelową

$P(Y|X)$ zmienia się, $P(X)$ pozostaje bez zmian

Obraz pokazuje zmianę relacji między dochodem a wiekiem w środowisku produkcyjnym w porównaniu do środowiska treningowego.

Przyczyny dryfowania

Zdarzenia zewnętrzne
- trendy wirusowe, zmiany polityki
Niezmodelowana sezonowość
- w prognozowaniu popytu: Black Friday, Boże Narodzenie
Zmiany w procesie generowania danych
- nowa aktualizacja aplikacji zbierającej dane
Ewoluujące zachowania użytkowników
- nawyki, wzorce i preferencje stale się zmieniają

Dynamika dryfowania konceptu

Dryf nagły – nowy koncept pojawia się w krótkim czasie

Dryf stopniowy – nowy koncept stopniowo zastępuje stary

Dryf nawracający – stary koncept powraca cyklicznie

Obraz przedstawia napis Covid-19.

Obraz przedstawia amerykańskie banknoty.

Obraz przedstawia plakat z 50% rabatem podczas Black Friday.

Wpływ przesunięcia kowariantnego na dryfowanie konceptu

Negatywny
- efekt dryfowania konceptu maleje

Pozytywny
- efekt dryfowania konceptu nasila się

Obraz ilustruje przesunięcie kowariantne między fazą trenowania a produkcją. Cecha dochodu zmieniła się z 80 tys./rok na 100 tys./rok. Drugi wykres przedstawia dryfowanie konceptu: zmianę relacji między dochodem a prognozowanym ryzykiem niespłacenia kredytu – wyższe ryzyko u wnioskodawców z niższymi dochodami.

Obraz ilustruje przesunięcie kowariantne między trenowaniem a produkcją. Cecha dochodu zmieniła się z 80 tys./rok na 60 tys./rok. Drugi wykres przedstawia dryfowanie konceptu: zmianę relacji między dochodem a prognozowanym ryzykiem niespłacenia kredytu – wyższe ryzyko u wnioskodawców z niższymi dochodami.

Czas na ćwiczenia!

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje