Rastreamento automático de experimentos

MLOps totalmente automatizado

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Machine learning tem natureza experimental

Muitos "parâmetros" para experimentar:

  • Transformações de dados
    • Features usadas
  • Algoritmos de treino
    • Ajuste de hiperparâmetros
  • Métricas de avaliação
    • Precisão, revocação etc.
MLOps totalmente automatizado

Um grande espaço de possibilidades!

$$

Foto de várias antenas apontando para um céu cheio de estrelas. A imagem ilustra um espaço vasto, difícil de explorar por completo.

MLOps totalmente automatizado

Problemas de fluxos manuais de Machine Learning

Falta de automação = problemas em fluxos manuais de ML

  • Difícil rastrear experimentos e resultados
  • Desperdício de tempo e recursos
  • Difícil reproduzir/compartilhar resultados

Imagem de um cientista de dados muito frustrado em frente a um laptop.

MLOps totalmente automatizado

Registro automatizado em ML

Coisas importantes para registrar incluem:

  • Código
  • Ambiente
  • Dados
  • Parâmetros
  • Métricas
MLOps totalmente automatizado

A importância do registro

Registrar é essencial para:

  • A reprodutibilidade de experimentos em sistemas de ML.
  • Acompanhar desempenho e decidir com base em dados.
  • Identificar problemas e melhorar.

$$

Reprodutibilidade traz transparência e é crucial para tornar nossos sistemas confiáveis.

MLOps totalmente automatizado

Sistema automatizado de rastreamento de experimentos

$$

Organize logs por execução ou experimento para:

  • Ver metadados do treino do modelo
  • Comparar execuções de treino
  • Reproduzir execuções de treino

$$

Figura de arquitetura de TI. O sistema de rastreamento de experimentos tem dois componentes: uma interface de usuário em dashboard e um acesso programático. O dashboard é acessado por usuários; o acesso programático é usado por outros componentes. O sistema de rastreamento grava e lê de outro componente responsável por armazenar logs.

MLOps totalmente automatizado

Rastreamento automatizado de experimentos - Mercado atual

Várias ferramentas que automatizam o rastreamento de experimentos:

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

Logotipo do Tensorflow.

$$

Logotipo do MLflow.

$$ Logotipo do Weights & Biases.

Logotipo do Neptune.AI.

MLOps totalmente automatizado

Vamos praticar!

MLOps totalmente automatizado

Preparing Video For Download...