Monitorování a upozornění

MLOps: nasazení a životní cyklus modelů

Nemanja Radojkovic

Senior Machine Learning Engineer

Statistická validace

Může být:

• příliš citlivá
• málo informativní

 

Riziko

• Příliš mnoho upozornění
• „Únava z upozornění"
• Důležitá upozornění uniknou pozornosti

Učte se z historie

Po vyřešení incidentu => Zaznamenejte příčinu a kroky k nápravě

Příklad od Googlu[1]:

• 10 let zaznamenaných a analyzovaných incidentů
• > 2/3 nesouviselo s ML!

¹ How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian

Pojďme si procvičit!

MLOps: nasazení a životní cyklus modelů