Automação em estratégias de deployment de MLOps

MLOps totalmente automatizado

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Deployment de modelo - serviço de previsão

Imagem da arquitetura de referência de MLOps com um elemento destacado: o serviço de previsão.

Serviços de previsão - modos (recapitulação)

Previsões podem ser servidas em:

Lote

Fluxos

Tempo real

Na borda

Serviço de previsão - serving em lote

Grande volume de previsões

Agendamentos periódicos

Disparo por evento

Figura representando processamento em lote. Toda a entrada é enviada a um mecanismo de processamento em lote. Toda a saída é entregue de uma vez após processar todo o conjunto.

Serviço de previsão - serving em streaming

Dados chegando continuamente

Previsões entregues continuamente

Figura representando processamento em fluxo. Elementos chegam continuamente a um mecanismo de stream. Após o processamento, as saídas são entregues continuamente a um fluxo de saída.

Serviço de previsão - tempo real

Registro único

Previsões instantâneas

Serviço de previsão - na borda

Dispositivos móveis

Dispositivos IoT

Latência reduzida

Imagem de um aplicativo de IoT rodando em um tablet.

Estratégias de deployment

Tipos de serving de ML determinam como devemos fazer deployment e atualizar nossos serviços de previsão

Estratégias de deployment de modelo incluem:

Shadow deployment
Canary deployment
A/B testing
Blue/Green

A/B testing

Figura representando A/B testing em um serviço de previsão em produção. As requisições de previsão vão para um balanceador de carga, que distribui entre os modelos A e B. O desempenho é monitorado continuamente.

A/B testing

Figura de um deployment com A/B testing. Após monitorar por tempo suficiente, o modelo B tem melhor desempenho. O sistema passa a enviar todas as requisições para ele.

Shadow deployment

Figura de um shadow deployment. Requisições de previsão vão para um balanceador de carga, que as envia para os modelos ativo e sombra. Só o modelo ativo retorna previsões. O desempenho de ambos é monitorado continuamente.

Deployment Blue/Green

Figura de um deployment Blue/Green. Um modelo está ativo em produção no ambiente azul.

Deployment Blue/Green

Um modelo atualizado é implantado em uma réplica do ambiente azul, chamada de ambiente verde. Um módulo de troca de tráfego começa a redirecionar as requisições do azul para o verde automaticamente.

Deployment Blue/Green

Figura de um deployment Blue/Green. Todo o tráfego é alternado, gradualmente e automaticamente, do ambiente azul para o verde.

Deployment Blue/Green

Depois que todo o tráfego é trocado, o ambiente azul pode ser removido. O ambiente verde, com o modelo atualizado, vira o novo ambiente de produção.

Fazendo deployment e atualizando serviços de previsão

O tipo de modelo determina a estratégia de deployment

Tabela com estratégias de deployment e suas propriedades em 4 dimensões: Sem downtime, Baseada em condição, Tempo de rollback e custos adicionais.

Vamos praticar!

MLOps totalmente automatizado