Comparație: Grid Search vs. Random Search
Ajustarea hiperparametrilor în Python
Alex Scriven
Data Scientist
Ce este comun?
Asemănări între Random Search și Grid Search?
- Ambele automatizează ajustarea hiperparametrilor
- Pentru ambele se definește grila de eșantionare (hiperparametri și valori)
Alegeți grila cu atenție!
- Pentru ambele se definește schema de validare încrucișată și funcția de scor
Ce este diferit?
Grid Search:
- Testează exhaustiv toate combinațiile din spațiul de eșantionare
- Nicio metodologie de eșantionare
- Mai costisitor computațional
- Garantează găsirea celui mai bun scor din spațiul de eșantionare
Random Search:
- Selectează aleatoriu un subset de combinații din spațiul de eșantionare (specificat de utilizator)
- Permite alegerea unei metodologii de eșantionare (alta decât cea uniformă, implicită)
- Mai puțin costisitor computațional
- Nu garantează cel mai bun scor, dar găsește unul bun mai rapid
Pe care să îl utilizați?
Pe care ar trebui să îl utilizați? Ce factori trebuie luați în considerare?
- Câte date aveți la dispoziție?
- Câți hiperparametri și valori doriți să ajustați?
- Ce resurse aveți disponibile? (Timp, putere de calcul)
- Mai multe date favorizează Random Search.
- Mai mulți hiperparametri favorizează Random Search.
- Resurse limitate favorizează Random Search.
Să exersăm!
Ajustarea hiperparametrilor în Python
