Monitoramento e alertas

Implantação e ciclo de vida em MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

mundo externo

Implantação e ciclo de vida em MLOps

bugs no serviço

Implantação e ciclo de vida em MLOps

capturando bugs

Implantação e ciclo de vida em MLOps

muitas peças em movimento

Implantação e ciclo de vida em MLOps

pontos de falha 2

Implantação e ciclo de vida em MLOps

alerta

Implantação e ciclo de vida em MLOps

olhe aqui

Implantação e ciclo de vida em MLOps

logging 1

Implantação e ciclo de vida em MLOps

logging 2

Implantação e ciclo de vida em MLOps

logging 3

Implantação e ciclo de vida em MLOps

pipeline de dados 1

Implantação e ciclo de vida em MLOps

validação de dados 2

Implantação e ciclo de vida em MLOps

perfís de dados validação

Implantação e ciclo de vida em MLOps

Validação estatística

Pode ser:

  • sensível demais
  • pouco informativo

 

Risco

  • Alertas em excesso
  • "Fadiga de alerta"
  • Alertas importantes passam batido
Implantação e ciclo de vida em MLOps

informar todos

Implantação e ciclo de vida em MLOps

Aprenda com o histórico

Após tratar o incidente => Registre a causa raiz e os passos da solução

Exemplo do Google[1]:

  • 10 anos de incidentes registrados e analisados
  • > 2/3 não eram de ML!
1 How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian
Implantação e ciclo de vida em MLOps

monitoramento centralizado

Implantação e ciclo de vida em MLOps

Vamos praticar!

Implantação e ciclo de vida em MLOps

Preparing Video For Download...