Manutenção de modelos

Implantação e ciclo de vida em MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Antes...

  • Como detectar anomalias e perturbações?

 

Foco desta aula: falhas em modelos de ML

Implantação e ciclo de vida em MLOps

modelo deteriorado

Implantação e ciclo de vida em MLOps

melhorar o modelo

Implantação e ciclo de vida em MLOps

melhorar conjunto de dados

Implantação e ciclo de vida em MLOps

centrado no modelo

Implantação e ciclo de vida em MLOps

centrado em dados

1 https://datacentricai.org/
Implantação e ciclo de vida em MLOps

Qualidade acima de quantidade

  • Obter mais features com informação relevante
  • Obter rótulos melhores

 

Label == valor da variável-alvo no conjunto de treino

Qualidade do label == quão próximo do ground truth

Implantação e ciclo de vida em MLOps

rótulos ruins

Implantação e ciclo de vida em MLOps

previsão ruim

Implantação e ciclo de vida em MLOps

Benefícios de ferramentas de rotulagem

Rotular manualmente é complexo, demorado e sujeito a erros

Use boas ferramentas de rotulagem!

  • Rotulagem mais eficiente
  • Mais precisa
  • Interface adequada ao propósito
  • "Rotule estes exemplos primeiro para maior impacto"
  • "Parece que você cometeu um erro aqui"

ferramenta de rotulagem

Exemplo: ferramenta de rotulagem de imagens, para criar classificadores de imagens

Implantação e ciclo de vida em MLOps

humano no ciclo

Implantação e ciclo de vida em MLOps

HIL 2

Implantação e ciclo de vida em MLOps

insumo de especialista

Implantação e ciclo de vida em MLOps

Implantação e ciclo de vida em MLOps

Quando os rótulos chegam

  • Executar o pipeline de build de ML => Novo modelo
  • Verificar se o novo modelo é melhor que o antigo
    • SIM => testar e implantar
    • NÃO => continuar buscando
Implantação e ciclo de vida em MLOps

Continue buscando

  • Testar novos modelos
  • Testar novas features
  • Testar novas fontes de dados

 

Muito útil: repositório de metadados (MLflow Tracking etc.)

  • Documentar a jornada de seleção de modelos
  • Evitar repetir os mesmos experimentos

 

De todo modo: MLOps ajuda a manter o modelo da forma mais rápida e eficiente

Implantação e ciclo de vida em MLOps

Vamos praticar!

Implantação e ciclo de vida em MLOps

Preparing Video For Download...