Monitorando serviços de ML

Implantação e ciclo de vida em MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Mantendo a qualidade

• Clientes pagantes == expectativa de qualidade
• Garantia de qualidade começa com controle de qualidade
• Monitoramento

Indicadores de desempenho

Indicadores básicos de saúde

• Serviço no ar e funcionando?
• Número de requisições no tempo?
• Distribuição de latência?

 

Métrica suprema de qualidade

• Desempenho preditivo

Como modelos de ML se degradam?

Vamos praticar!

Implantação e ciclo de vida em MLOps