Wyzwania monitorowania modeli ML

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Hakim Elakhrass

Co-founder and CEO of NannyML

Składniki projektu ML

Diagram Venna z trzema kołami reprezentującymi inżynierię oprogramowania, analitykę danych i uczenie maszynowe, których część wspólna odpowiada dziedzinie data science.

Model nie generuje prognoz

Możliwe problemy:

Bariery językowe – łączenie różnych języków programowania za pomocą kodu „kleju"

Utrzymanie kodu – problemy ze zgodnością zaktualizowanych zależności

Problemy ze skalowaniem – infrastruktura nieodporna na większą liczbę użytkowników

Prognozy modelu są błędne

Przesunięcie kowariantne

Zmiana rozkładu danych wejściowych
Wykrywalne metodami statystycznymi
Nie każdy dryft wpływa na wydajność

Wykres gęstości rozkładu porównujący wiek klientów w zbiorze treningowym i produkcyjnym. Zbiór treningowy jest mocno skośny w kierunku niższych wartości wieku, natomiast zbiór produkcyjny ma podobny kształt, lecz z wyraźnym pikiem przy wyższych wartościach wieku.

Dryft koncepcji

Zmiana zależności między danymi wejściowymi a zmiennymi docelowymi
Trudny do wykrycia
Niemal zawsze wpływa na biznesową efektywność modelu

Wykres przedstawia zależność między wartością życiową klienta (CLV) a cechą wejściową Wiek dla zbiorów treningowego i produkcyjnego. Zależność zmienia się w środowisku produkcyjnym, co wskazuje na dryft koncepcji.

Dostępność danych rzeczywistych

Zdjęcie sklepu odzieżowego.

Czas na ćwiczenia!

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje