Comparer la recherche sur grille et aléatoire
Ajustement des hyperparamètres en Python
Alex Scriven
Data Scientist
Qu'est-ce qui est pareil ?
Similarités entre recherche aléatoire et sur grille ?
- Deux méthodes automatisées pour régler différents hyperparamètres
- Dans les deux cas, vous définissez la grille d'échantillonnage (quels hyperparamètres et quelles valeurs)
Songez bien à votre grille !
- Dans les deux cas, vous fixez un schéma de validation croisée et une fonction de pointage
Qu'est-ce qui diffère ?
Recherche sur grille :
- Essaie exhaustivement toutes les combinaisons dans l'espace d'échantillonnage
- Aucune méthode d'échantillonnage
- Plus coûteuse en calcul
- Garantie de trouver le meilleur score dans l'espace d'échantillonnage
Recherche aléatoire :
- Sélectionne au hasard un sous-ensemble de combinaisons dans l'espace d'échantillonnage (à préciser)
- Peut choisir une méthode d'échantillonnage (autre que uniforme par défaut)
- Moins coûteuse en calcul
- Aucune garantie de trouver le meilleur score (mais trouve souvent un bon plus vite)
Laquelle choisir ?
Alors, laquelle utiliser ? Quels critères considérer ?
- Quel volume de données avez-vous ?
- Combien d'hyperparamètres et de valeurs voulez-vous régler ?
- Quelles ressources avez-vous ? (temps, puissance de calcul)
- Plus de données : la recherche aléatoire peut être préférable.
- Plus d'hyperparamètres/valeurs : la recherche aléatoire peut être préférable.
- Moins de ressources : la recherche aléatoire peut être préférable.
Passons à la pratique !
Ajustement des hyperparamètres en Python
