Automatisk hyperparameterjustering

Fullt automatiserad MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Vad är en hyperparameter?

Hyperparametrar är justerbara värden som styr inlärningsprocessen

  • Lärs inte in under träningen
  • Anges innan en ML-modell tränas

$$

Exempel:

  • Modellarkitektur i ett neuralt nätverk
  • Antal grenar i ett beslutsträd
  • Inlärningshastighet
Fullt automatiserad MLOps

Vad är hyperparameterjustering?

Bild som visar en datavetare som justerar hyperparametrar i ett neuralt nätverk. Nätverkets träningsrutin ställer in parametrar som kan läras in under träning. Kombinationerna ger olika poäng.

Fullt automatiserad MLOps

Metoder för hyperparameterjustering

  • Grid Search

$$

$$

  • Random Search

$$

$$

  • Bayesian Optimization

Animation av Grid Search som visar en ordnad sökning.

Animation av Random Search som visar en slumpmässig sökning.

Animation av Bayesian Search som visar en intelligent sökning.

Fullt automatiserad MLOps

Automatisera hyperparameterjustering

Bild som visar en motor som utforskar kombinationer av hyperparametrar.

Fullt automatiserad MLOps

Steg för automatisk hyperparameterjustering

  • Behöver definieras:
    • Vilka hyperparametrar som ska optimeras
    • Sökutrymme för varje parameter
    • Vilket prestandamått som ska optimeras
    • Stoppkriterier

Bild som visar ett flöde: definiera hyperparametrar att optimera, definiera sökutrymmet för varje hyperparameter, ange optimeringsmål, ange stoppkriterier. Längst ned drivs hela processen av en metod för hyperparameterjustering.

Fullt automatiserad MLOps

Hitta den bästa uppsättningen hyperparametrar automatiskt

$$

Föregående processbild utökad. Längst ned visas att den bästa uppsättningen hyperparametrar har hittats.

Fullt automatiserad MLOps

Hyperparametrar och miljösymmetri

$$

Bild som illustrerar miljösymmetri. Samma justerade hyperparametrar används i utveckling och experiment som i produktion.

Fullt automatiserad MLOps

Hyperparameterjustering – experimentspårning

Bild som visar den automatiserade hyperparameterjusteringsprocessen. Överst samlar det automatiserade experimentspårningssystemet in metadata, till exempel de hyperparametrar som används under justeringen. Dessa metadata sparas i metadatalagret.

Fullt automatiserad MLOps

Exempel – visualisering av hyperparametrar

Exempel på ett visualiseringsverktyg för hyperparameterjustering.

Fullt automatiserad MLOps

Nu kör vi en övning!

Fullt automatiserad MLOps

Preparing Video For Download...