Ottimizzazione automatica degli iperparametri

MLOps completamente automatizzato

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Cos'è un iperparametro?

Gli iperparametri sono valori regolabili che controllano l'apprendimento

  • Non vengono appresi durante l'addestramento
  • Si impostano prima di addestrare un modello ML

$$

Esempi:

  • Architettura del modello in una rete neurale
  • Numero di rami in un albero decisionale
  • Learning rate
MLOps completamente automatizzato

Cos'è il tuning degli iperparametri?

Immagine di una data scientist che regola gli iperparametri in una rete neurale. La routine di training della rete regola i parametri apprendibili durante l'addestramento. Queste combinazioni producono punteggi diversi.

MLOps completamente automatizzato

Metodi di tuning degli iperparametri

  • Grid Search

$$

$$

  • Random Search

$$

$$

  • Ottimizzazione Bayesiana

Animazione grid search che mostra una ricerca ordinata.

Animazione random search che mostra una ricerca casuale.

Ottimizzazione bayesiana che mostra una ricerca intelligente.

MLOps completamente automatizzato

Automatizzare il tuning degli iperparametri

Immagine che mostra un motore che esplora combinazioni di iperparametri.

MLOps completamente automatizzato

Passi del tuning automatico degli iperparametri

  • Da definire:
    • Set di iperparametri da ottimizzare
    • Spazio di ricerca per ogni parametro
    • Metrica di performance da ottimizzare
    • Criteri di arresto

Immagine che mostra il processo: definire gli iperparametri da ottimizzare, lo spazio di ricerca per ciascuno, la metrica obiettivo e i criteri di arresto. In basso, tutto è gestito da un metodo di tuning degli iperparametri.

MLOps completamente automatizzato

Trovare automaticamente il miglior set di iperparametri

$$

L'immagine precedente è estesa. In basso viene trovato il miglior set di iperparametri.

MLOps completamente automatizzato

Iperparametri e simmetria degli ambienti

$$

Immagine che illustra la simmetria degli ambienti. Lo stesso set di iperparametri ottimizzati è usato in sviluppo/sperimentazione e in produzione.

MLOps completamente automatizzato

Tuning iperparametri - Tracciamento esperimenti

Immagine del processo di tuning automatico degli iperparametri. In alto, il sistema di tracciamento esperimenti raccoglie metadati come gli iperparametri usati durante il tuning. Questi metadati vengono salvati nello store dei metadati.

MLOps completamente automatizzato

Esempio - Visualizzazione iperparametri

Esempio di strumento di visualizzazione per il tuning degli iperparametri.

MLOps completamente automatizzato

Vamos praticar!

MLOps completamente automatizzato

Preparing Video For Download...