Afronden
Hyperparameter Tuning in Python
Alex Scriven
Data Scientist
Hyperparameters vs parameters
Hyperparameters vs parameters:
Hyperparameters stel jij in. Ze worden niet geleerd tijdens het trainen
Parameters stel jij niet in. Het algoritme leert ze zelf
Welke hyperparameters & waarden?
Je leerde:
- Sommige hyperparameters zijn beter om mee te starten
- Er zijn onzinnige waarden voor hyperparameters
- Let op conflicterende hyperparameters
- Best practices zijn algoritme- en hyperparameter-specifiek
Grid search onthouden
We introduceerden grid search:
- Maak een matrix (of ‘grid’) met combinaties en waarden van hyperparameters
- Bouw modellen voor alle verschillende combinaties
- Kies daarna de winnaar
Rekenintensief, maar vindt gegarandeerd de beste in je grid. (Zorg dus voor een goed grid!)
Random search onthouden
Random search:
- Heel vergelijkbaar met grid search
- Belangrijkste verschil: kies (n) willekeurige combinaties
Deze methode is sneller voor een redelijk model, maar vindt niet de beste in je grid.
Van ongericht naar gericht zoeken
Kijken naar informed search:
Bij informed search leert elke iteratie van de vorige. Bij Grid en Random wordt alles in één keer gemodelleerd en kies je daarna de beste.
We verkenden o.a.:
- ‘Coarse to Fine’ (iteratief random en daarna grid search)
- Bayesiaanse hyperparameter-tuning, waarbij je overtuigingen bijwerkt met bewijs over modelprestaties
- Genetische algoritmen, waarbij je modellen over generaties evolueert
Bedankt!
Hyperparameter Tuning in Python
