Geautomatiseerde hyperparametertuning

Volledig geautomatiseerde MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Wat is een hyperparameter?

Hyperparameters zijn instelbare waarden die het leerproces sturen

  • Niet geleerd tijdens trainen
  • Vastgezet vóór het trainen van een ML-model

$$

Voorbeelden:

  • Modelarchitectuur in een neuraal netwerk
  • Aantal vertakkingen in een beslissingsboom
  • Learning rate
Volledig geautomatiseerde MLOps

Wat is hyperparametertuning?

Afbeelding van een dataspecialist die hyperparameters afstelt in een neuraal netwerk. De trainingsroutine van het netwerk stemt parameters af die tijdens training leerbaar zijn. Deze combinaties geven verschillende scores.

Volledig geautomatiseerde MLOps

Methoden voor hyperparametertuning

  • Grid search

$$

$$

  • Random search

$$

$$

  • Bayesiaanse optimalisatie

Grid-search-animatie die ordelijke zoekactie toont.

Random-search-animatie die willekeurige zoekactie toont.

Bayesiaanse zoekoptimalisatie die slimme zoekactie toont.

Volledig geautomatiseerde MLOps

Hyperparametertuning automatiseren

Afbeelding van een motor die de verkenning van hyperparametercombinaties uitvoert.

Volledig geautomatiseerde MLOps

Stappen voor geautomatiseerde hyperparametertuning

  • Definieer:
    • Set hyperparameters om te optimaliseren
    • Zoekruimte per parameter
    • Prestatiemetriek om te optimaliseren
    • Stopcriteria

Een afbeelding van het proces: kies hyperparameters om te optimaliseren, definieer de zoekruimte per hyperparameter, kies het te optimaliseren doel, stel stopcriteria in. Onderin wordt alles aangestuurd door een hyperparametertuningmethode.

Volledig geautomatiseerde MLOps

Automatisch de beste hyperparameterset vinden

$$

De vorige procesafbeelding is uitgebreid. Onderaan is de beste set hyperparameters gevonden.

Volledig geautomatiseerde MLOps

Hyperparameters en omgevingssymmetrie

$$

Een afbeelding met omgevingssymmetrie. Dezelfde afgestemde hyperparameters worden gebruikt in ontwikkeling/experimenten en in productie.

Volledig geautomatiseerde MLOps

Hyperparametertuning - Experimenttracking

Een afbeelding van het geautomatiseerde hyperparametertuningproces. Bovenaan verzamelt het automatische experiment-tracking-systeem metadata zoals de gebruikte hyperparameters. Deze metadata wordt opgeslagen in de metadatastore.

Volledig geautomatiseerde MLOps

Voorbeeld - Hyperparametervisualisatie

Een voorbeeld van een visualisatietool voor hyperparametertuning.

Volledig geautomatiseerde MLOps

Laten we oefenen!

Volledig geautomatiseerde MLOps

Preparing Video For Download...