Grid search vs. random search vergelijken
Hyperparameter Tuning in Python
Alex Scriven
Data Scientist
Wat is hetzelfde?
Overeenkomsten tussen random en grid search?
- Beide zijn geautomatiseerde manieren om hyperparameters af te stemmen
- Bij beide stel je het zoekraster in om uit te sampelen (welke hyperparameters en hun waarden)
Denk goed na over je zoekraster!
- Bij beide kies je een cross-validatieschema en scoringsfunctie
Wat is anders?
Grid search:
- Probeert alle combinaties in de zoekruimte uitputtend
- Geen samplingmethode
- Rekenkundig duurder
- Garandeert de beste score binnen de zoekruimte te vinden
Random search:
- Kiest willekeurig een subset van combinaties in de (door jou gespecificeerde) zoekruimte
- Je kunt een samplingmethode kiezen (anders dan uniform, de standaard)
- Minder rekenkundig duur
- Niet gegarandeerd de beste score te vinden (maar vindt vaak sneller een goede)
Welke kies je?
Welke moet ik gebruiken? Waar let ik op?
- Hoeveel data heb je?
- Hoeveel hyperparameters en waarden wil je tunen?
- Hoeveel resources heb je? (tijd, rekenkracht)
- Meer data: random search is vaak beter.
- Meer hiervan: random search is vaak beter.
- Minder resources: random search is vaak beter.
Laten we oefenen!
Hyperparameter Tuning in Python
