Arquitetura de referência: MLOps totalmente automatizado

MLOps totalmente automatizado

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

O que é uma arquitetura de referência?

Uma arquitetura de referência é um modelo para projetar soluções em diferentes domínios de TI.

Um conjunto de documentos com:

Estruturas e integrações de elementos de TI
Padrões comuns em sistemas de TI, incluindo sistemas de ML
Aproveita a experiência e as melhores práticas do mercado

Arquitetura de MLOps totalmente automatizada

Uma imagem com visão geral da arquitetura de referência de MLOps totalmente automatizada.

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Arquitetura de referência - Experimentos orquestrados

A imagem dá zoom em um conjunto de caixas conectadas. Da esquerda para a direita: análise de dados, experimento orquestrado, código-fonte, repositório de código-fonte.

Arquitetura de referência - Código-fonte e CI

A imagem se move para a esquerda. Após o repositório de código-fonte, há um bloco de integração contínua. Esse bloco tem uma etapa de build que gera pacotes como saída.

Arquitetura de referência - Artefatos e CD

A imagem desce para mostrar um bloco de entrega contínua.

Arquitetura de referência - Deploy do pipeline de ML

A imagem se move para a esquerda para mostrar um pipeline de ML automatizado com etapas: extração de dados, validação de dados, preparação de dados, treinamento de modelo, avaliação de modelo, validação de modelo.

Arquitetura de referência - O metadata store

A imagem desce para mostrar o Metadata Store coletando logs gerados pelo pipeline de ML.

Arquitetura de referência - O registro de modelos

A imagem sobe e vai à direita para mostrar que modelos treinados pelo pipeline de ML são enviados para um registro de modelos.

Arquitetura de referência - Serviços de predição

A imagem desce para mostrar que modelos treinados pelo pipeline de ML são entregues continuamente a um módulo de serviço de predição na arquitetura.

Arquitetura de referência - Monitoramento contínuo

A imagem se move para a esquerda para mostrar um componente de monitoramento de desempenho que acompanha as predições do serviço de predição.

Arquitetura de referência - Disparo automático

A imagem continua à esquerda para mostrar um componente de disparo conectado ao módulo de monitoramento de desempenho

Arquitetura de referência - Retreinamento automático

A imagem sobe para mostrar que o disparo pode ativar o pipeline de ML automatizado no sistema.