Optimisation automatisée des hyperparamètres

MLOps entièrement automatisé

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Qu'est-ce qu'un hyperparamètre ?

Les hyperparamètres sont des valeurs ajustables qui pilotent l'apprentissage

Non appris pendant l'entraînement
Définis avant d'entraîner un modèle de ML

Exemples :

Architecture du modèle dans un réseau de neurones
Nombre de branches d'un arbre de décision
Taux d'apprentissage

Qu'est-ce que l'ajustement des hyperparamètres ?

Image montrant un data scientist ajustant des hyperparamètres dans un réseau de neurones. La routine d'entraînement ajuste les paramètres apprenables pendant l'entraînement. Ces combinaisons produisent des scores différents.

Méthodes d'ajustement des hyperparamètres

Recherche en grille

Recherche aléatoire

Optimisation bayésienne

Animation de recherche en grille montrant une exploration ordonnée.

Animation de recherche aléatoire montrant une exploration au hasard.

Animation d'optimisation bayésienne montrant une recherche intelligente.

Automatiser l'ajustement des hyperparamètres

Image montrant un moteur explorant des combinaisons d'hyperparamètres.

Étapes de l'ajustement automatisé des hyperparamètres

À définir :
- Ensemble d'hyperparamètres à optimiser
- Espace de recherche pour chaque paramètre
- Une métrique de performance à optimiser
- Critères d'arrêt

Une image montrant le processus : définir les hyperparamètres à optimiser, définir l'espace de recherche pour chaque hyperparamètre, spécifier la cible à optimiser, spécifier les critères d'arrêt. En bas, tout le processus est alimenté par une méthode d'ajustement d'hyperparamètres.

Trouver automatiquement le meilleur ensemble d'hyperparamètres

L'image précédente du processus est étendue. En bas, le meilleur ensemble d'hyperparamètres est trouvé.

Hyperparamètres et symétrie des environnements

Une image illustrant la symétrie des environnements. Le même ensemble d'hyperparamètres ajustés est utilisé en développement/expérimentation et en production.

Ajustement des hyperparamètres – Suivi des expériences

Image montrant le processus d'ajustement automatisé des hyperparamètres. En haut, le système automatique de suivi d'expériences collecte des métadonnées comme les hyperparamètres utilisés pendant l'ajustement. Ces métadonnées sont enregistrées dans le magasin de métadonnées.

Exemple – Visualisation des hyperparamètres

Exemple d'outil de visualisation pour l'ajustement des hyperparamètres.

Passons à la pratique !

MLOps entièrement automatisé