Ajuste automático de hiperparâmetros

MLOps totalmente automatizado

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

O que é um hiperparâmetro?

Hiperparâmetros são valores ajustáveis que controlam o aprendizado

  • Não são aprendidos durante o treinamento
  • Definidos antes de treinar um modelo de ML

$$

Exemplos:

  • Arquitetura do modelo em uma Rede Neural
  • Número de ramificações em uma árvore de decisão
  • Taxa de aprendizado
MLOps totalmente automatizado

O que é ajuste de hiperparâmetros?

Imagem mostrando cientistas de dados ajustando hiperparâmetros em uma rede neural. A rotina de treino da rede ajusta parâmetros aprendíveis no treinamento. Essas combinações produzem pontuações diferentes.

MLOps totalmente automatizado

Métodos de ajuste de hiperparâmetros

  • Grid Search

$$

$$

  • Random Search

$$

$$

  • Bayesian Optimization

Animação de grid search mostrando busca ordenada.

Animação de random search mostrando busca aleatória.

Otimização Bayesiana mostrando busca inteligente.

MLOps totalmente automatizado

Automatize o ajuste de hiperparâmetros

Imagem mostrando um motor explorando combinações de hiperparâmetros.

MLOps totalmente automatizado

Etapas do ajuste automático de hiperparâmetros

  • É preciso definir:
    • Conjunto de hiperparâmetros a otimizar
    • Espaço de busca de cada parâmetro
    • Métrica de desempenho a otimizar
    • Critérios de parada

Uma imagem mostrando o processo: definir hiperparâmetros a otimizar, definir o espaço de busca de cada um, especificar o alvo a otimizar, definir critérios de parada. Na base, tudo é conduzido por um método de ajuste de hiperparâmetros.

MLOps totalmente automatizado

Encontrando automaticamente o melhor conjunto de hiperparâmetros

$$

A imagem do processo anterior é estendida. Na base, encontra-se o melhor conjunto de hiperparâmetros.

MLOps totalmente automatizado

Hiperparâmetros e simetria entre ambientes

$$

Imagem ilustrando simetria de ambientes. O mesmo conjunto de hiperparâmetros ajustados é usado em desenvolvimento/experimentação e em produção.

MLOps totalmente automatizado

Ajuste de hiperparâmetros - Rastreamento de experimentos

Imagem mostrando o processo automatizado de ajuste de hiperparâmetros. No topo, o sistema automatizado de rastreamento de experimentos coleta metadados, como os hiperparâmetros usados durante o ajuste. Esses metadados são salvos no repositório de metadados.

MLOps totalmente automatizado

Exemplo - Visualização de hiperparâmetros

Exemplo de uma ferramenta de visualização de ajuste de hiperparâmetros.

MLOps totalmente automatizado

Vamos praticar!

MLOps totalmente automatizado

Preparing Video For Download...