Monitorowanie i alerty

Wdrażanie i cykl życia modeli MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

świat zewnętrzny

Wdrażanie i cykl życia modeli MLOps

błędy w serwisie

Wdrażanie i cykl życia modeli MLOps

wykrywanie błędów

Wdrażanie i cykl życia modeli MLOps

wiele ruchomych elementów

Wdrażanie i cykl życia modeli MLOps

punkty awarii 2

Wdrażanie i cykl życia modeli MLOps

alert

Wdrażanie i cykl życia modeli MLOps

spójrz tutaj

Wdrażanie i cykl życia modeli MLOps

logowanie 1

Wdrażanie i cykl życia modeli MLOps

logowanie 2

Wdrażanie i cykl życia modeli MLOps

logowanie 3

Wdrażanie i cykl życia modeli MLOps

potok danych 1

Wdrażanie i cykl życia modeli MLOps

walidacja danych 2

Wdrażanie i cykl życia modeli MLOps

walidacja profili danych

Wdrażanie i cykl życia modeli MLOps

Walidacja statystyczna

Może być:

  • zbyt czuła
  • mało informatywna

 

Ryzyko

  • Zbyt wiele alertów
  • „Zmęczenie alertami"
  • Ważne alerty pozostają niezauważone
Wdrażanie i cykl życia modeli MLOps

powiadamiaj wszystkich

Wdrażanie i cykl życia modeli MLOps

Ucz się na historii

Po obsłudze incydentu => Zapisz przyczynę i kroki rozwiązania

Przykład od Google[1]:

  • 10 lat zarejestrowanych i przeanalizowanych incydentów
  • > 2/3 nie było związanych z ML!
1 How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian
Wdrażanie i cykl życia modeli MLOps

scentralizowane monitorowanie

Wdrażanie i cykl życia modeli MLOps

Czas na ćwiczenia!

Wdrażanie i cykl życia modeli MLOps

Preparing Video For Download...