Bezpośrednie monitorowanie wydajności technicznej

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Hakim Elakhrass

Co-founder and CEO of NannyML

Przesunięcie kowariantne a wydajność modelu

Trzy rodzaje przesunięcia kowariantnego:

  • Przesunięcie ku określonym regionom

    • więcej osób o wysokich dochodach wnioskujących o kredyty

  • Przesunięcie ku niedoreprezentowanym regionom

    • 10% wniosków od osób z branży tech zamiast 0,5% z danych treningowych

  • Przesunięcie ku regionom niepewnym

    • wzrost udziału osób o średnich dochodach (blisko granicy decyzyjnej) z 20% do 40%

 

-> Brak wpływu

 

-> Nieznany wpływ

 

-> Negatywny wpływ

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Gwarantowany negatywny wpływ

 
 
 
 

Przesunięcie kowariantne ku regionom niepewnym zawsze negatywnie wpływa na wydajność

Wizualizacja okresu treningowego pokazuje region, w którym model jest najmniej pewny. W produkcji w tym regionie jest więcej osób niż podczas trenowania.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Problem fałszywych alertów

Obraz przedstawia kropki symbolizujące alerty — ważne alerty mogą zostać przeoczone, gdy jest ich zbyt wiele

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Znaczenie wydajności technicznej

  • Bezpośrednia miara skuteczności modelu w danym zadaniu

 

  • Odzwierciedla każdą cichą awarię modelu

 

  • Eliminuje przeciążenie fałszywymi alertami

Fragment diagramu monitorowania: pierwsze pole — monitorowanie wydajności; poniżej, połączone przerywaną linią, pytanie czy model nadal działa poprawnie; po prawej romb z opisem „degradacja wydajności"; strzałka w prawo z etykietą „tak" i strzałka powracająca do pierwszego pola z etykietą „nie".

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Czas na ćwiczenia!

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Preparing Video For Download...