Jämföra Grid Search och Random Search
Hyperparameterjustering i Python
Alex Scriven
Data Scientist
Vad är likadant?
Likheter mellan Random Search och Grid Search?
- Båda är automatiserade metoder för att finjustera hyperparametrar
- För båda anger du det rutnät att sampla från (vilka hyperparametrar och vilka värden för var och en)
Tänk noga igenom ditt rutnät!
- För båda anger du ett korsvalideringsschema och en poängfunktion
Vad skiljer dem åt?
Grid Search:
- Provar uttömmande alla kombinationer i samplingsutrymmet
- Ingen samplingsmetodik
- Mer beräkningsintensiv
- Garanterar det bästa resultatet i samplingsutrymmet
Random Search:
- Väljer slumpmässigt en delmängd kombinationer i samplingsutrymmet (som du anger)
- Kan använda en samplingsmetodik (utöver uniform, som är standard)
- Mindre beräkningsintensiv
- Garanterar inte det bästa resultatet i samplingsutrymmet (men hittar troligen ett bra resultat snabbare)
Vilken ska jag använda?
Vilken ska man använda? Vad bör man ta hänsyn till?
- Hur mycket data har du?
- Hur många hyperparametrar och värden vill du finjustera?
- Vilka resurser har du? (Tid, beräkningskraft)
- Mer data innebär att Random Search kan vara ett bättre alternativ.
- Fler av dessa innebär att Random Search kan vara ett bättre alternativ.
- Färre resurser innebär att Random Search kan vara ett bättre alternativ.
Nu kör vi en övning!
Hyperparameterjustering i Python
