ML-services monitoren

MLOps-deployments en levenscyclus

Nemanja Radojkovic

Senior Machine Learning Engineer

Kwaliteit behouden

• Betalende klanten == kwaliteitsverwachting
• Kwaliteitszorg begint bij kwaliteitscontrole
• Monitoring

Prestatie-indicatoren

Fundamentele gezondheidsindicatoren

• Draait de service?
• Aantal requests in de tijd?
• Latentieverdeling?

 

Ultieme kwaliteitsmetriek

• Predictieve performance

Hoe verslechteren ML-modellen?

Laten we oefenen!

MLOps-deployments en levenscyclus