Orquestração em MLOps

MLOps totalmente automatizado

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Um componente central em sistemas de MLOps

Imagem da arquitetura de referência de MLOps com dois elementos destacados: experimentos orquestrados no ambiente de desenvolvimento e o pipeline automatizado em produção.

MLOps totalmente automatizado

Modularidade e reutilização

Figura com dois pipelines de ML, um superior e um inferior. O pipeline superior está no ambiente de desenvolvimento e experimentação e o inferior em produção.

MLOps totalmente automatizado

Orquestração e automação

Pipelines de ML são usados em:

  • Desenvolvimento e experimentação

Figura de um componente: experimento orquestrado.

  • Produção

Figura de um pipeline de ML automatizado.

MLOps totalmente automatizado

Grafos acíclicos direcionados em MLOps

$$

  • Representações gráficas de pipelines
  • Etapas do pipeline como nós
  • Dependências como arestas

Imagem de um DAG simples com etapas interconectadas em um pipeline de ML.

MLOps totalmente automatizado

O que é orquestração em MLOps?

$$

  • Gerenciar e automatizar fluxos de tarefas

$$

  • Agendamento e monitoramento de tarefas

$$

  • Gerenciar dependências e fluxos de dados
MLOps totalmente automatizado

Pipelines de ML - desenvolvimento e experimentação

Figura de um pipeline de ML orquestrado no ambiente de desenvolvimento e experimentação. O pipeline é acionado por um cientista de dados e orquestrado por um componente de orquestração.

  • Gerenciar tarefas fim a fim no treino do modelo
  • Fluxo correto, rastreio e logs
  • Experimentação em paralelo
MLOps totalmente automatizado

Pipelines de ML - produção

Figura de um pipeline de ML automatizado no ambiente de produção. O pipeline é acionado por um gatilho automatizado e orquestrado por um componente de orquestração.

  • Ajuda a automatizar o deployment do modelo
  • Gerencia e executa as etapas do pipeline
  • Deployments consistentes e confiáveis
MLOps totalmente automatizado

Vamos praticar!

MLOps totalmente automatizado

Preparing Video For Download...