Sammanfattning
Hyperparameterjustering i Python
Alex Scriven
Data Scientist
Hyperparametrar vs parametrar
Hyperparametrar vs parametrar:
Hyperparametrar är delar av modellen som du anger själv. De lärs inte in under modelleringsprocessen
Parametrar anges inte av dig. Algoritmen hittar dessa åt dig
Vilka hyperparametrar och värden?
Du har lärt dig:
- Vissa hyperparametrar är bättre att börja med än andra
- Det finns olämpliga värden att undvika
- Du bör se upp för hyperparametrar som konflikterar med varandra
- Bästa praxis är specifik för algoritmer och deras hyperparametrar
Grid search – en påminnelse
Vi introducerade grid search:
- Bygg en matris (eller "grid") av hyperparameterkombinationer och värden
- Träna modeller för alla olika hyperparameterkombinationer
- Välj sedan den bästa
En beräkningskrävande metod, men den garanterar det bästa resultatet i din grid. (Kom ihåg vikten av att sätta upp en bra grid!)
Random search – en påminnelse
Random search:
- Mycket likt grid search
- Huvudskillnaden är att (n) slumpmässiga kombinationer väljs ut.
Den här metoden hittar snabbare en godtagbar modell, men inte nödvändigtvis den bästa i din grid.
Från oinformerad till informerad sökning
Informerad sökning:
Vid informerad sökning lär sig varje iteration av den förra, till skillnad från grid search och random search där all modellering sker på en gång och den bästa väljs ut efteråt.
Informerade metoder som utforskades:
- "Coarse to Fine" (iterativ random search följt av grid search)
- Bayesiansk hyperparameteroptimering, som uppdaterar antaganden utifrån modellens prestanda
- Genetiska algoritmer, som utvecklar modeller över generationer.
Tack!
Hyperparameterjustering i Python
