Monitorizarea serviciilor ML

MLOps Deployment and Life Cycling

Nemanja Radojkovic

Senior Machine Learning Engineer

Menținerea calității

• Clienți plătitori == așteptări de calitate
• Asigurarea calității începe cu controlul calității
• Monitorizare

Indicatori de performanță

Indicatori fundamentali de sănătate

• Serviciul funcționează?
• Numărul de cereri în timp?
• Distribuția latenței?

 

Metrica ultimă de calitate

• Performanța predictivă

Cum se degradează modelele ML?

Să exersăm!

MLOps Deployment and Life Cycling