Rezumat
Ajustarea hiperparametrilor în Python
Alex Scriven
Data Scientist
Hiperparametri vs. parametri
Hiperparametri vs. parametri:
Hiperparametrii sunt componente ale modelului pe care le setați. Nu sunt învățați în timpul procesului de modelare
Parametrii nu sunt setați de dvs. Algoritmul îi descoperă automat
Ce hiperparametri și valori?
Ați învățat:
- Unii hiperparametri sunt mai buni ca punct de plecare decât alții
- Există valori nepotrivite pe care le puteți seta
- Trebuie să evitați hiperparametrii conflictuali
- Cele mai bune practici sunt specifice algoritmilor și hiperparametrilor acestora
Recapitulare: căutarea pe grilă
Am introdus căutarea pe grilă:
- Construiți o matrice (sau „grilă") de combinații și valori de hiperparametri
- Construiți modele pentru toate combinațiile de hiperparametri
- Apoi alegeți câștigătorul
O opțiune costisitoare computațional, dar garantat găsește cel mai bun rezultat din grilă. (Nu uitați importanța definirii unei grile bune!)
Recapitulare: căutarea aleatoare
Căutarea aleatoare:
- Foarte similară cu căutarea pe grilă
- Principala diferență constă în selectarea a (n) combinații aleatorii.
Această metodă obține mai rapid un model rezonabil, dar nu neapărat cel mai bun din grilă.
De la căutarea neinformată la cea informată
Căutarea informată:
În căutarea informată, fiecare iterație învață din cea anterioară, spre deosebire de căutarea pe grilă și cea aleatoare, unde modelarea se face integral, apoi se alege cel mai bun rezultat.
Metodele informate explorate:
- „De la gros la fin" (căutare aleatoare iterativă, urmată de căutare pe grilă)
- Reglaj bayesian al hiperparametrilor, actualizând estimările pe baza performanței modelului
- Algoritmi genetici, evoluând modelele de-a lungul generațiilor.
Vă mulțumim!
Ajustarea hiperparametrilor în Python
