Comparer Grid Search et Random Search
Optimisation des hyperparamètres en Python
Alex Scriven
Data Scientist
Qu'est-ce qui est identique ?
Similarités entre Random et Grid Search ?
- Deux méthodes automatiques pour régler des hyperparamètres
- Dans les deux cas, vous définissez une grille d'échantillonnage (quels hyperparamètres et quelles valeurs)
Pensez soigneusement à votre grille !
- Dans les deux cas, vous définissez une validation croisée et une métrique d'évaluation
Qu'est-ce qui diffère ?
Grid Search :
- Teste exhaustivement toutes les combinaisons de l'espace d'échantillonnage
- Pas de méthodologie d'échantillonnage
- Plus coûteux en calcul
- Garantie de trouver le meilleur score dans l'espace d'échantillonnage
Random Search :
- Sélectionne au hasard un sous-ensemble de combinaisons dans l'espace d'échantillonnage (à préciser)
- Possibilité de choisir une loi d'échantillonnage (autre que l'uniforme par défaut)
- Moins coûteux en calcul
- Pas garanti de trouver le meilleur score dans l'espace (mais trouve souvent une bonne solution plus vite)
Lequel choisir ?
Alors, lequel utiliser ? Quels critères considérer ?
- Combien de données avez-vous ?
- Combien d'hyperparamètres et de valeurs voulez-vous régler ?
- Quelles ressources avez-vous ? (temps, puissance de calcul)
- Plus de données : Random Search peut être préférable.
- Plus d'hyperparamètres/valeurs : Random Search peut être préférable.
- Moins de ressources : Random Search peut être préférable.
Passons à la pratique !
Optimisation des hyperparamètres en Python
