Monitorowanie usług ML

Wdrażanie i cykl życia modeli MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Utrzymanie jakości

  • Płacący klienci == oczekiwania jakości
  • Zapewnienie jakości zaczyna się od kontroli jakości
  • Monitorowanie
Wdrażanie i cykl życia modeli MLOps

Wskaźniki wydajności

Podstawowe wskaźniki kondycji

  • Czy usługa działa?
  • Liczba żądań w czasie?
  • Rozkład opóźnień?

 

Główna metryka jakości

  • Wydajność predykcyjna

Jak modele ML ulegają degradacji?

Wdrażanie i cykl życia modeli MLOps

prosty klasyfikator

Wdrażanie i cykl życia modeli MLOps

wyuczona granica

Wdrażanie i cykl życia modeli MLOps

wytrenowany model

Wdrażanie i cykl życia modeli MLOps

świat się zmienia

Wdrażanie i cykl życia modeli MLOps

zmiana 2

Wdrażanie i cykl życia modeli MLOps

przesunięta granica

Wdrażanie i cykl życia modeli MLOps

dryfowanie konceptu

Wdrażanie i cykl życia modeli MLOps

brak zmian powoduje degradację

Wdrażanie i cykl życia modeli MLOps

jak wykryć

Wdrażanie i cykl życia modeli MLOps

Wdrażanie i cykl życia modeli MLOps

haczyk

Wdrażanie i cykl życia modeli MLOps

według przypadku użycia

Wdrażanie i cykl życia modeli MLOps

nigdy za darmo

Wdrażanie i cykl życia modeli MLOps

wykorzystaj to, co masz

Wdrażanie i cykl życia modeli MLOps

zmiany cech wejściowych

Wdrażanie i cykl życia modeli MLOps

przesunięcie kowariancji

Wdrażanie i cykl życia modeli MLOps

ograniczenia monitorowania wejść

Wdrażanie i cykl życia modeli MLOps

monitorowanie wyjść

Wdrażanie i cykl życia modeli MLOps

Czas na ćwiczenia!

Wdrażanie i cykl życia modeli MLOps

Preparing Video For Download...