Récapitulatif
Optimisation des hyperparamètres en Python
Alex Scriven
Data Scientist
Hyperparamètres vs Paramètres
Hyperparamètres vs Paramètres :
Les hyperparamètres sont des éléments du modèle que vous définissez. Ils ne sont pas appris pendant l'entraînement
Les paramètres ne sont pas définis par vous. L'algorithme les apprend pour vous
Quels hyperparamètres et valeurs ?
Vous avez vu :
- Certains hyperparamètres sont de meilleurs points de départ que d'autres
- Il existe des valeurs absurdes pour des hyperparamètres
- Attention aux hyperparamètres en conflit
- Les bonnes pratiques dépendent des algorithmes et de leurs hyperparamètres
À retenir : Grid Search
Nous avons présenté la recherche par grille :
- Construire une matrice (ou « grille ») de combinaisons et valeurs d'hyperparamètres
- Entraîner des modèles pour toutes les combinaisons
- Puis choisir la meilleure
Coûteux en calcul, mais garantit de trouver le meilleur de votre grille. (D'où l'importance de bien définir la grille !)
À retenir : Random Search
Random Search :
- Très proche de la recherche par grille
- Différence principale : sélectionner (n) combinaisons aléatoires
Plus rapide pour obtenir un modèle correct, mais ne trouvera pas le meilleur de votre grille.
De l'aveugle à l'informé
Cap sur les méthodes informées :
En recherche informée, chaque itération apprend de la précédente, alors qu'en Grid et Random, on entraîne tout d'un coup puis on choisit la meilleure.
Méthodes informées vues :
- « Du grossier au fin » (aléatoire itératif puis recherche par grille)
- Optimisation bayésienne des hyperparamètres, mise à jour des croyances selon les performances
- Algorithmes génétiques, faisant évoluer les modèles sur plusieurs générations
Merci !
Optimisation des hyperparamètres en Python
