En résumé
Ajustement des hyperparamètres en Python
Alex Scriven
Data Scientist
Hyperparamètres vs Paramètres
Hyperparamètres vs Paramètres :
Les hyperparamètres sont des éléments du modèle que vous réglez. Ils ne sont pas appris pendant l'entraînement
Les paramètres ne sont pas réglés par vous. L'algorithme les détermine
Quels hyperparamètres et quelles valeurs ?
Vous avez vu :
- Certains hyperparamètres sont de meilleurs points de départ que d'autres
- On peut attribuer des valeurs absurdes aux hyperparamètres
- Attention aux hyperparamètres en conflit
- Les bonnes pratiques dépendent de l'algorithme et de ses hyperparamètres
Se rappeler la recherche par grille
Nous avons présenté la recherche par grille :
- Construire une matrice (ou « grille ») de combinaisons et de valeurs d'hyperparamètres
- Entraîner des modèles pour toutes les combinaisons
- Puis choisir le meilleur
Coûteux en calcul, mais garantit de trouver le meilleur dans votre grille. (D'où l'importance de bien définir la grille !)
Se rappeler la recherche aléatoire
Recherche aléatoire :
- Très proche de la recherche par grille
- Différence : on sélectionne (n) combinaisons au hasard
Plus rapide pour obtenir un modèle raisonnable, mais ne trouvera pas le meilleur de votre grille.
De la recherche non informée à informée
Regard sur la recherche informée :
En recherche informée, chaque itération apprend de la précédente, tandis qu'en grille et aléatoire, on entraîne tout d'un coup puis on choisit le meilleur.
Méthodes informées abordées :
- « Grossier à fin » (aléatoire itérative puis recherche par grille)
- Réglage bayésien des hyperparamètres, mise à jour des croyances selon la performance du modèle
- Algorithmes génétiques, qui font évoluer les modèles sur plusieurs générations
Merci !
Ajustement des hyperparamètres en Python
