Idealny przepływ pracy monitorowania

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Hakim Elakhrass

Co-founder and CEO of NannyML

Przepływy pracy monitorowania

Tradycyjny przepływ pracy monitorowania

  • Obliczanie wydajności technicznej

  • Alerty na podstawie dryftów w danych wejściowych

  • Skutkuje wieloma fałszywymi alertami

Idealny przepływ pracy monitorowania

  • Monitorowanie wydajności technicznej

    • Obliczanie i szacowanie wydajności

  • Analiza przyczyn źródłowych

    • Umożliwia powiązanie dryftów ze spadkami wydajności

 

Idealny przepływ pracy monitorowania, który zaczyna się od monitorowania wydajności. W przypadku jej pogorszenia przeprowadzana jest analiza przyczyn źródłowych, a następnie rozwiązywanie problemów.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Monitorowanie wydajności

Obejmuje:

  • Obliczanie wydajności – dla metryk technicznych, takich jak dokładność

 

  • Szacowanie wydajności – gdy wartości rzeczywiste są niedostępne

 

  • Pomiar wpływu biznesowego – monitorowanie kluczowych wskaźników efektywności

  Wykres przedstawia dokładność w czasie, gdzie spada ona poniżej określonego progu.

Wykres KPI w czasie pokazuje, że wskaźniki pozostają w określonych progach.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Analiza przyczyn źródłowych

Celem jest zbadanie:

 

  • Dryft kowariancyjny – zmiany w rozkładzie danych wejściowych

 

  • Dryft koncepcyjny – zmiany w relacji między cechami a wartościami docelowymi

Wykres przedstawia granicę decyzyjną między niebieskimi a czerwonymi kółkami dla działającego modelu.

Wykres pokazuje przesunięcie niebieskich kółek przekraczających granicę decyzyjną, co wskazuje na dryft kowariancyjny.

Wykres ilustruje zmianę granicy decyzyjnej, co wskazuje na dryft koncepcyjny.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Rozwiązywanie problemów

Możliwe rozwiązania:

  • Ponowne trenowanie – wymaga dodatkowych danych i zasobów obliczeniowych

 

  • Refaktoryzacja przypadku użycia – cofnięcie się i przemyślenie stosowanych metod

 

  • Zmiana procesów downstream – modyfikacja procesów wokół predykcji

  Obraz przedstawia cyfrowy mózg symbolizujący model ML oraz znak plus połączony z bazą danych, co ilustruje ponowne trenowanie modelu na większej ilości danych.

Obraz przedstawia tablicę z pytaniami dotyczącymi inżynierii cech, użytych cech oraz regresji liniowej.

Obraz przedstawia pracownika ręcznie weryfikującego coś na komputerze.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Czas na ćwiczenia!

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Preparing Video For Download...