Övervakning av ML-tjänster

MLOps-driftsättning och livscykelhantering

Nemanja Radojkovic

Senior Machine Learning Engineer

Upprätthålla kvalitet

• Betalande kunder == förväntningar på kvalitet
• Kvalitetssäkring börjar med kvalitetskontroll
• Övervakning

Prestandaindikatorer

Grundläggande hälsoindikatorer

• Tjänsten uppe och igång?
• Antal förfrågningar över tid?
• Latensfördelning?

 

Viktigaste kvalitetsmåttet

• Prediktiv prestanda

Hur försämras ML-modeller?

Nu kör vi en övning!

MLOps-driftsättning och livscykelhantering