O repositório de metadados

MLOps totalmente automatizado

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

O que são metadados em MLOps?

Metadados são as informações sobre os artefatos
- criados durante a execução de diferentes componentes de um pipeline de ML

Um pipeline de Machine Learning é apresentado. O pipeline tem as etapas: extração de dados, validação de dados, treinamento do modelo, avaliação do modelo e validação do modelo.

Exemplos de metadados:

Versionamento de dados: diferentes versões do mesmo dado são mantidas
Metadados sobre artefatos de treino, como hiperparâmetros
Logs de execução do pipeline

¹ https://datacentricai.org/

Aspectos importantes dos metadados em ML

Linhagem de dados
Reprodutibilidade
Monitoramento
Regulatório

A importância dos metadados - Linhagem de dados

Metadados de linhagem de dados rastreiam informações sobre os dados:
- desde sua criação
- até os pontos de consumo

Uma ilustração do conceito de linhagem de dados. Mostra como os dados podem ser transformados por vários processos entre sua origem e seu consumo.

A importância dos metadados - Reprodutibilidade

Os metadados sobre nossos experimentos de Machine Learning:
- Permitem que outras pessoas reproduzam nossos resultados
- Aumentam a confiança em nossos sistemas de ML
- Trazem rigor científico ao nosso processo de ML

Uma figura para ilustrar o conceito de reprodutibilidade. Mostra uma série de cientistas observando uns aos outros por um telescópio, pois desejam reproduzir o trabalho uns dos outros.

A importância dos metadados - Monitoramento

Permite que engenheiros de Machine Learning
- Acompanhem a execução das diferentes partes do pipeline de MLOps
- Verifiquem o status do sistema de ML a qualquer momento

Exemplo de ferramenta de monitoramento

Um exemplo de dashboard de monitoramento mostrando diferentes métricas associadas a um sistema de MLOps em execução.

¹ https://cloud.google.com/stackdriver/docs/solutions/gke/observing

O repositório de metadados

Local centralizado para gerenciar todos os metadados de MLOps sobre:
- experimentos (logs)
- artefatos
- modelos
- pipelines
Possui uma interface que permite:
- ler e escrever todos os metadados relacionados a modelos

Uma ilustração do repositório de metadados. Mostra um armazenamento centralizado onde vários atores e processos acessam metadados.

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

O repositório de metadados em uma arquitetura de MLOps

Uma figura da arquitetura de MLOps totalmente automatizada. Mostra o papel central do repositório de metadados no processo de MLOps.

Repositório de metadados em MLOps totalmente automatizado

Ele viabiliza o monitoramento automático do funcionamento do pipeline de MLOps totalmente automatizado

Facilitando a resposta automática a incidentes. Por exemplo,
- Re-treinamento automático de modelos
- Rollbacks automáticos

Um gráfico representando o re-treinamento do modelo acionado por drift no sistema de ML. Mostra uma figura onde o eixo x é o tempo e o eixo y é o desempenho. Três curvas são apresentadas. Cada curva tem uma queda representando drift. O ponto de drift é circulado e marcado como drift detectado. Nesse ponto, começa uma nova curva de desempenho para um novo modelo.

Vamos praticar!

MLOps totalmente automatizado