Shrnutí

Hyperparameter Tuning in Python

Alex Scriven

Data Scientist

Hyperparametry vs parametry

Hyperparametry vs parametry:

Hyperparametry jsou složky modelu, které nastavujete vy. Nejsou se učeny během procesu modelování

Parametry nenastavujete vy. Algoritmus je zjistí sám za vás

Které hyperparametry a hodnoty?

Naučili jste se:

Některé hyperparametry jsou lepším výchozím bodem než jiné
Existují nesmyslné hodnoty hyperparametrů
Je třeba dávat pozor na konfliktní hyperparametry
Osvědčené postupy se liší podle algoritmů a jejich hyperparametrů

Připomenutí grid search

Představili jsme grid search:

Sestavte matici (nebo „mřížku") kombinací a hodnot hyperparametrů
Natrénujte modely pro všechny kombinace hyperparametrů
Poté vyberte nejlepší

Výpočetně náročná metoda, která však zaručeně najde nejlepší kombinaci v mřížce. (Nezapomeňte na důležitost správného nastavení mřížky!)

Připomenutí random search

Náhodné prohledávání (Random Search):

Velmi podobné grid search
Hlavní rozdíl je výběr (n) náhodných kombinací.

Tato metoda je rychlejší a dává rozumný model, ale nenajde nejlepší kombinaci v mřížce.

Od neřízeného k řízenému prohledávání

Řízené prohledávání:

Při řízeném prohledávání každá iterace čerpá z předchozí, zatímco u grid search a random search probíhá modelování najednou a poté je vybrán nejlepší výsledek.

Probrané metody řízeného prohledávání:

„Od hrubého k jemnému" (iterativní random search a grid search)
Bayesovské ladění hyperparametrů – aktualizace předpokladů na základě výkonu modelu
Genetické algoritmy – evoluce modelů napříč generacemi

Děkujeme!

Hyperparameter Tuning in Python