Reglarea automată a hiperparametrilor

MLOps complet automatizat

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Ce este un hiperparametru?

Hiperparametrii sunt valori reglabile ce controlează procesul de învățare

  • Nu sunt învățați în timpul antrenării
  • Sunt setați înainte de antrenarea modelului ML

$$

Exemple:

  • Arhitectura modelului într-o rețea neuronală
  • Numărul de ramuri dintr-un arbore de decizie
  • Rata de învățare
MLOps complet automatizat

Ce este reglarea hiperparametrilor?

Imagine care arată un om de știință de date ajustând hiperparametri într-o rețea neuronală. Rutina de antrenare a rețelei neuronale reglează parametrii ce pot fi învățați în timpul antrenării. Aceste combinații produc scoruri diferite.

MLOps complet automatizat

Metode de reglare a hiperparametrilor

  • Căutare pe grilă

$$

$$

  • Căutare aleatorie

$$

$$

  • Optimizare bayesiană

Animație a căutării pe grilă ilustrând o căutare ordonată.

Animație a căutării aleatorii ilustrând o căutare aleatorie.

Animație a optimizării bayesiene ilustrând o căutare inteligentă.

MLOps complet automatizat

Automatizarea reglării hiperparametrilor

Imagine care prezintă un motor ce explorează combinații de hiperparametri.

MLOps complet automatizat

Pașii reglării automate a hiperparametrilor

  • Trebuie definite:
    • Setul de hiperparametri de optimizat
    • Spațiul de căutare pentru fiecare parametru
    • O metrică de performanță de optimizat
    • Criterii de oprire

Imagine care ilustrează un proces: definirea hiperparametrilor de optimizat, definirea spațiului de căutare pentru fiecare hiperparametru, specificarea țintei de optimizat, specificarea criteriilor de oprire. La bază, întregul proces este susținut de o metodă de reglare a hiperparametrilor.

MLOps complet automatizat

Găsirea automată a celui mai bun set de hiperparametri

$$

Imaginea anterioară a procesului este extinsă. La bază este identificat cel mai bun set de hiperparametri.

MLOps complet automatizat

Hiperparametri și simetria mediului

$$

Imagine care ilustrează simetria mediului. Același set de hiperparametri reglați este utilizat atât în dezvoltare și experimentare, cât și în producție.

MLOps complet automatizat

Reglarea hiperparametrilor - Urmărirea experimentelor

Imagine care prezintă procesul de reglare automată a hiperparametrilor. În partea superioară, sistemul automat de urmărire a experimentelor colectează metadate, precum hiperparametrii utilizați în procesul de reglare. Aceste metadate sunt salvate în depozitul de metadate.

MLOps complet automatizat

Exemplu - Vizualizarea hiperparametrilor

Exemplu de instrument de vizualizare a reglării hiperparametrilor.

MLOps complet automatizat

Să exersăm!

MLOps complet automatizat

Preparing Video For Download...