Automatyczne dostrajanie hiperparametrów

W pełni zautomatyzowany MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Czym jest hiperparametr?

Hiperparametry to konfigurowalne wartości kontrolujące proces uczenia

Nie są uczone podczas trenowania
Ustawiane przed treningiem modelu ML

Przykłady:

Architektura modelu w sieci neuronowej
Liczba gałęzi w drzewie decyzyjnym
Współczynnik uczenia

Czym jest dostrajanie hiperparametrów?

Obraz przedstawiający data scientista dostosowującego hiperparametry w sieci neuronowej. Procedura trenowania sieci neuronowej dostosowuje parametry uczące się podczas treningu. Różne kombinacje dają różne wyniki.

Metody dostrajania hiperparametrów

Przeszukiwanie siatką

Przeszukiwanie losowe

Optymalizacja bayesowska

Animacja przeszukiwania siatką pokazująca uporządkowane przeszukiwanie.

Animacja przeszukiwania losowego pokazująca losowe przeszukiwanie.

Animacja optymalizacji bayesowskiej pokazująca inteligentne przeszukiwanie.

Automatyzacja dostrajania hiperparametrów

Obraz przedstawiający mechanizm eksploracji kombinacji hiperparametrów.

Etapy automatycznego dostrajania hiperparametrów

Należy zdefiniować:
- Zestaw hiperparametrów do optymalizacji
- Przestrzeń przeszukiwania dla każdego parametru
- Metrykę wydajności do optymalizacji
- Kryteria zatrzymania

Obraz przedstawiający proces: definiowanie hiperparametrów do optymalizacji, definiowanie przestrzeni przeszukiwania dla każdego hiperparametru, określenie celu optymalizacji, określenie kryteriów zatrzymania. Na dole całego procesu widnieje metoda dostrajania hiperparametrów.

Automatyczne znajdowanie najlepszego zestawu hiperparametrów

Poprzedni obraz procesu został rozszerzony. Na dole widoczny jest najlepszy zestaw hiperparametrów.

Hiperparametry a symetria środowisk

Obraz ilustrujący symetrię środowisk. Ten sam zestaw dostrojonych hiperparametrów jest używany w fazie rozwoju i eksperymentowania oraz w środowisku produkcyjnym.

Dostrajanie hiperparametrów – śledzenie eksperymentów

Obraz przedstawiający proces automatycznego dostrajania hiperparametrów. Na górze procesu zautomatyzowany system śledzenia eksperymentów zbiera metadane, takie jak hiperparametry używane podczas dostrajania. Metadane są zapisywane w magazynie metadanych.

Przykład – wizualizacja hiperparametrów

Przykład narzędzia do wizualizacji dostrajania hiperparametrów.

Czas na ćwiczenia!

W pełni zautomatyzowany MLOps