Övervakning och larm

MLOps-driftsättning och livscykelhantering

Nemanja Radojkovic

Senior Machine Learning Engineer

Statistisk validering

Kan vara:

• för känslig
• inte tillräckligt informativ

 

Risk

• För många larm
• "Larmtrötthet"
• Viktiga larm missas

Lär av historiken

Efter att incidenten hanterats => Dokumentera grundorsak och åtgärdssteg

Exempel från Google[1]:

• 10 års incidenter registrerade och analyserade
• > 2/3 var inte ML-relaterade!

¹ How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian

Nu kör vi en övning!

MLOps-driftsättning och livscykelhantering