Monitorizare și alertare

MLOps Deployment and Life Cycling

Nemanja Radojkovic

Senior Machine Learning Engineer

lumea exterioară

MLOps Deployment and Life Cycling

erori în serviciu

MLOps Deployment and Life Cycling

detectarea erorilor

MLOps Deployment and Life Cycling

multe componente mobile

MLOps Deployment and Life Cycling

puncte de eșec 2

MLOps Deployment and Life Cycling

alertă

MLOps Deployment and Life Cycling

privește aici

MLOps Deployment and Life Cycling

logare 1

MLOps Deployment and Life Cycling

logare 2

MLOps Deployment and Life Cycling

logare 3

MLOps Deployment and Life Cycling

pipeline de date 1

MLOps Deployment and Life Cycling

validare date 2

MLOps Deployment and Life Cycling

validare profiluri de date

MLOps Deployment and Life Cycling

Validare statistică

Poate fi:

  • prea sensibilă
  • insuficient de informativă

 

Risc

  • Prea multe alerte
  • „Oboseala alertelor"
  • Alerte importante trecute cu vederea
MLOps Deployment and Life Cycling

informați pe toată lumea

MLOps Deployment and Life Cycling

Învățați din istoricul vostru

După rezolvarea incidentului => Înregistrați cauza și pașii de remediere

Exemplu de la Google[1]:

  • 10 ani de incidente înregistrate și analizate
  • > 2/3 nu erau legate de ML!
1 How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian
MLOps Deployment and Life Cycling

monitorizare centralizată

MLOps Deployment and Life Cycling

Să exersăm!

MLOps Deployment and Life Cycling

Preparing Video For Download...