Jak radzić sobie z dryfem koncepcji?

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Hakim Elakhrass

Co-founder and CEO of NannyML

Wykrywanie dryfu koncepcji

Metody oparte na błędach
- śledzenie zmian błędu w czasie
- wymaga prawdziwych etykiet

Trenowanie nowego modelu na danych treningowych i produkcyjnych
- zmiana predykcji sygnalizuje dryfę koncepcji
- kosztowne w zaawansowanych przypadkach użycia

Ponowne trenowanie

Obraz przedstawia dwa wykresy. Pierwszy pokazuje stopniowy spadek dokładności modelu w czasie. Drugi przedstawia niewielki spadek dokładności, po którym następuje ponowne trenowanie skutkujące jej wzrostem – proces ten powtarza się cyklicznie.

Zalety :

model jest na bieżąco z aktualnymi wzorcami

Wady :

wyższe koszty i ryzyko awarii
nie wskazuje przyczyny problemu

Uczenie online

Obraz ilustruje cykl uczenia online: dane z aplikacji trafiają do bazy danych i są natychmiast używane do aktualizacji modelu, który następnie jest ponownie wdrażany.

Zalety :

adaptacja w czasie rzeczywistym do zmieniających się warunków

Wady :

wymaga stałego dostępu do prawdziwych etykiet
wrażliwe na szum
wymaga starannego doboru parametrów

Inne rozwiązania

Model dedykowany cyklicznym wydarzeniom

Ważenie istotności nowych danych
- skupienie na nowszych danych ułatwia adaptację modelu

Obraz przedstawia oś czasu: 23 listopada wdrażany jest standardowy model, 24 listopada – model na Black Friday, a następnie ponownie wdrażany jest model standardowy.

Czas na ćwiczenia!

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje