Automatické ladění hyperparametrů

Plně automatizované MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Co je hyperparametr?

Hyperparametry jsou nastavitelné hodnoty řídící proces učení

  • Nejsou se učeny během trénování
  • Nastavují se před trénováním modelu ML

$$

Příklady:

  • Architektura modelu v neuronové síti
  • Počet větví v rozhodovacím stromě
  • Rychlost učení
Plně automatizované MLOps

Co je ladění hyperparametrů?

Obrázek zobrazující datového vědce upravujícího hyperparametry v neuronové síti. Tréninkový postup neuronové sítě ladí parametry učitelné při trénování. Tyto kombinace produkují různá skóre.

Plně automatizované MLOps

Metody ladění hyperparametrů

  • Prohledávání mřížky

$$

$$

  • Náhodné prohledávání

$$

$$

  • Bayesovská optimalizace

Animace prohledávání mřížky zobrazující systematické prohledávání.

Animace náhodného prohledávání zobrazující náhodné prohledávání.

Animace Bayesovské optimalizace zobrazující inteligentní prohledávání.

Plně automatizované MLOps

Automatizace ladění hyperparametrů

Obrázek znázorňující proces automatického prozkoumávání kombinací hyperparametrů.

Plně automatizované MLOps

Kroky automatického ladění hyperparametrů

  • Je třeba definovat:
    • Sadu hyperparametrů k optimalizaci
    • Prostor hledání pro každý parametr
    • Metriku výkonu k optimalizaci
    • Kritéria zastavení

Obrázek znázorňující proces: definovat hyperparametry k optimalizaci, definovat prostor hledání pro každý hyperparametr, určit cíl optimalizace, určit kritéria zastavení. Celý proces je řízen metodou ladění hyperparametrů.

Plně automatizované MLOps

Automatické hledání nejlepší sady hyperparametrů

$$

Předchozí procesní obrázek je rozšířen. Na konci je nalezena nejlepší sada hyperparametrů.

Plně automatizované MLOps

Hyperparametry a symetrie prostředí

$$

Obrázek znázorňující symetrii prostředí. Stejná sada vyladěných hyperparametrů se používá při vývoji i v produkci.

Plně automatizované MLOps

Ladění hyperparametrů – sledování experimentů

Obrázek znázorňující proces automatického ladění hyperparametrů. Na vrcholu procesu automatický systém sledování experimentů shromažďuje metadata, například hyperparametry použité při ladění. Tato metadata jsou uložena do úložiště metadat.

Plně automatizované MLOps

Příklad – vizualizace hyperparametrů

Příklad nástroje pro vizualizaci ladění hyperparametrů.

Plně automatizované MLOps

Pojďme si procvičit!

Plně automatizované MLOps

Preparing Video For Download...