Jak wykryć przesunięcie kowariancji

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Hakim Elakhrass

Co-founder and CEO of NannyML

Wielowymiarowe wykrywanie dryfu

  • Wykrywa zmiany w rozkładzie łącznym

 

 

  • Używa algorytmu PCA do kompresji danych

 

 

  • Używa błędu rekonstrukcji jako miary dryfu

Obraz przedstawia wielowymiarowy przepływ wykrywania dryfu: dane wielowymiarowe są kompresowane do przestrzeni ukrytej, a następnie dekompresowane do pierwotnej postaci z określoną rekonstrukcją.

Wykres ilustruje wahania błędu dryfu rekonstrukcji danych w czasie.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Jednowymiarowe wykrywanie dryfu

Typy zmiennych:

  • Kategoryczne – reprezentują typy danych podzielone na grupy, np. stan cywilny, status palacza, poziom wykształcenia

 

  • Ciągłe – zmienna o nieskończonej liczbie wartości rzeczywistych w danym przedziale, np. wzrost, waga, odległość, czas
Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Metody ciągłe – Jensen-Shannon

  • Mierzy podobieństwo dwóch rozkładów

  • Zakres [0, 1]

  • Wykrywa znaczące dryfy o małej amplitudzie

Obraz przedstawia zmianę rozkładu mierzoną odległością Jensen-Shannon.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Metody ciągłe – Wasserstein

  • Minimalny wysiłek potrzebny do przekształcenia jednego rozkładu w drugi

  • Zakres [0, +inf]

  • Wrażliwy na wartości odstające

Obraz przedstawia zmianę rozkładu mierzoną odległością Wassersteina.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Metody ciągłe – Kołmogorow-Smirnow

  • Maksymalna odległość dystrybuant

  • Zakres [0, 1]

  • Podatny na fałszywe pozytywy

Obraz przedstawia zmianę rozkładu mierzoną odległością Kołmogorowa-Smirnowa.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Metody ciągłe – Hellinger

  • Nakładanie się rozkładów
  • Zakres [0, 1]
  • Nie rozróżnia silnych przesunięć

 

Metody ciągłe – Rekomendacja

  • Jensen-Shannon i Wasserstein zazwyczaj dają dobre wyniki

Obraz przedstawia zmianę rozkładu mierzoną odległością Hellingera.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Metody kategoryczne – Chi-kwadrat

  • Czuły na zmiany w kategoriach o niskiej częstości

Obraz przedstawia wizualizację statystyki chi-kwadrat dla zmiennej kategorycznej z dwiema kategoriami: a i b.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Metody kategoryczne – L-nieskończoność

  • Identyfikuje największe przesunięcie we wszystkich kategoriach

Obraz przedstawia wizualizację metody L-nieskończoność dla zmiennej kategorycznej z trzema kategoriami: a, b i c.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Metody kategoryczne – Jensen-Shannon i Hellinger

  • Jensen-Shannon lub L-nieskończoność przy wielu kategoriach
  • Odległość L-nieskończoność do wykrywania zmian w pojedynczych kategoriach

Obraz przedstawia wizualizację metod Jensen-Shannon i Hellinger dla zmiennej kategorycznej z trzema kategoriami: a, b i c.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Czas na ćwiczenia!

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Preparing Video For Download...