Monitoring en alerting

MLOps-deployments en levenscyclus

Nemanja Radojkovic

Senior Machine Learning Engineer

Statistische validatie

Kan zijn:

• te gevoelig
• niet informatief genoeg

 

Risico

• Te veel alerts
• "Alert-moeheid"
• Belangrijke alerts gemist

Leer van je historie

Na het incident: leg hoofdoorzaak en stappen vast

Voorbeeld van Google[1]:

• 10 jaar aan incidenten vastgelegd en geanalyseerd
• > 2/3 was niet ML-gerelateerd!

¹ How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian

Laten we oefenen!

MLOps-deployments en levenscyclus