Estymacja wydajności

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Hakim Elakhrass

Co-founder and CEO of NannyML

Przegląd

Dwa algorytmy estymacji wydajności:

  • CBPE – zadania klasyfikacji
  • DLE – zadania regresji
Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

CBPE – Zasada działania

  • Estymuje macierz pomyłek

 

  • Umożliwia obliczanie metryk klasyfikacji: dokładności, precyzji, czułości

 

  • Uwzględnia wpływ przesunięcia kowariancji na model

 

Algorytm CBPE jest zilustrowany na obrazku pokazującym jego działanie. Pierwszy model generuje predykcję dla danego przykładu, która służy do określenia klasy. Jeśli model przewiduje wartość 0,9, klasa jest pozytywna (wartość powyżej 0,5). W przeciwnym razie klasa jest negatywna. Proces predykcji jest wykonywany dla wszystkich przykładów w zbiorze danych, a wynikowe wyniki ufności są agregowane w celu wygenerowania estymowanej macierzy pomyłek.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

CBPE – Uwagi

  • Brak przesunięcia kowariancji w niewidzianych regionach

 

  • Brak dryftu konceptualnego w danych wejściowych

 

  • Wymaga kalibracji prawdopodobieństwa
Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

DLE – Zasada działania

  • Przewiduje błąd bezwzględny modelu

 

  • Używa zewnętrznego modelu podrzędnego

 

  • Umożliwia obliczanie metryk regresji: MAE, MSE, MSLE

 

  • Uwzględnia obecność przesunięcia kowariancji w danych wejściowych

Obraz opisuje proces estymacji wydajności zadania regresji w produkcji. Dane analityczne są przekazywane do modelu w celu wygenerowania predykcji. Predykcje te, wraz z danymi analitycznymi, są przekazywane do modelu podrzędnego, który przewiduje błąd. Na podstawie tej predykcji błędu obliczane są inne metryki regresji służące do oceny wydajności modelu.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

DLE – Uwagi

  • Brak przesunięcia kowariancji w niewidzianych regionach

 

  • Brak dryftu konceptualnego w danych wejściowych

 

  • Dodatkowa złożoność
Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Czas na ćwiczenia!

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Preparing Video For Download...