Monitorování ML služeb

MLOps: nasazení a životní cyklus modelů

Nemanja Radojkovic

Senior Machine Learning Engineer

Udržování kvality

• Platící zákazníci == očekávání kvality
• Zajištění kvality začíná kontrolou kvality
• Monitorování

Ukazatele výkonu

Základní ukazatele zdraví

• Služba běží?
• Počet požadavků za čas?
• Distribuce latence?

 

Klíčová metrika kvality

• Prediktivní výkon

Jak ML modely degradují?

Pojďme si procvičit!

MLOps: nasazení a životní cyklus modelů