O padrão de automação, monitoramento e resposta a incidentes

MLOps totalmente automatizado

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

O que é um padrão de projeto de software?

Uma solução geral e reutilizável para um problema recorrente...

A imagem de uma planta/blueprint.

Automatizar, monitorar, responder

Uma imagem mostrando um processo: Automação, Monitoramento, Resposta a Incidentes.

Melhora a confiabilidade dos sistemas de ML que projetamos

Três exemplos de um padrão em MLOps

Re-treinamento automático de modelos
Rollback de modelo
Imputação de features

A imagem de uma planta/blueprint.

1. Re-treinamento automático de modelos

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada.

1. Re-treinamento automático de modelos - executando predições

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada. O serviço de predição está destacado.

1. Re-treinamento automático de modelos - Monitoramento

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada. O módulo de monitoramento de performance está destacado.

1. Re-treinamento automático de modelos - Gatilho

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada. O componente de gatilho está destacado.

1. Re-treinamento automático de modelos - Pipeline automatizado

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada. O pipeline automatizado está destacado.

1. Re-treinamento automático de modelos - Deploy

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada. O componente de entrega contínua está destacado.

2. Rollback de modelo

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada. O pipeline automatizado está destacado.

2. Rollback de modelo - Falha na validação

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada. As etapas de avaliação e validação de modelo estão destacadas.

2. Rollback de modelo - Último modelo funcional

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada. O registro de modelos está destacado.

2. Rollback de modelo - Novo deploy

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada. O componente de deploy contínuo está destacado.

3. Imputação de features - Pipeline intensivo em dados

Visão geral de alto nível da arquitetura de MLOps totalmente automatizada. Os componentes de dados no pipeline automatizado estão destacados.

3. Imputação de features - Qualidade dos dados

Imagem de uma tabela mostrando colunas com valores ausentes.

Níveis variados de qualidade dos dados
Algumas features podem ficar abaixo do limite de QA

3. Imputação de features - Features defeituosas

As colunas da tabela anterior estão destacadas e marcadas como defeituosas.

Detectar features com falha
Aplicar imputação de features

3. Imputação de features - Possíveis correções

Valores numéricos

$$
- Imputação por média/mediana
- Imputação por KNN

Valores categóricos

$$
Imputação pela categoria mais frequente
Adicionar uma categoria "Missing"

Vamos praticar!