Réglage automatisé des hyperparamètres

MLOps entièrement automatisé

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Qu'est-ce qu'un hyperparamètre ?

Les hyperparamètres sont des valeurs ajustables qui contrôlent l'apprentissage

  • Non appris pendant l'entraînement
  • Définis avant l'entraînement d'un modèle ML

$$

Exemples :

  • Architecture du modèle dans un réseau de neurones
  • Nombre de branches dans un arbre de décision
  • Taux d'apprentissage
MLOps entièrement automatisé

Qu'est-ce que le réglage des hyperparamètres ?

Image montrant une ou un scientifique des données ajustant des hyperparamètres dans un réseau de neurones. La routine d'entraînement du réseau ajuste des paramètres apprenables pendant l'entraînement. Ces combinaisons produisent des scores différents.

MLOps entièrement automatisé

Méthodes de réglage des hyperparamètres

  • Recherche par grille

$$

$$

  • Recherche aléatoire

$$

$$

  • Optimisation bayésienne

Animation de recherche par grille montrant une recherche ordonnée.

Animation de recherche aléatoire montrant une recherche aléatoire.

Optimisation bayésienne montrant une recherche intelligente.

MLOps entièrement automatisé

Automatiser le réglage des hyperparamètres

Image montrant un moteur explorant des combinaisons d'hyperparamètres.

MLOps entièrement automatisé

Étapes du réglage automatisé des hyperparamètres

  • À définir :
    • Ensemble d'hyperparamètres à optimiser
    • Espace de recherche pour chaque paramètre
    • Une mesure de performance à optimiser
    • Critères d'arrêt

Image montrant un processus : définir les hyperparamètres à optimiser, définir l'espace de recherche pour chacun, préciser la cible à optimiser, préciser les critères d'arrêt. En bas, tout le processus est propulsé par une méthode de réglage d'hyperparamètres.

MLOps entièrement automatisé

Trouver automatiquement le meilleur ensemble d'hyperparamètres

$$

L'image précédente du processus est prolongée. Au bas, le meilleur ensemble d'hyperparamètres est trouvé.

MLOps entièrement automatisé

Hyperparamètres et symétrie des environnements

$$

Image illustrant la symétrie des environnements. Le même ensemble d'hyperparamètres ajustés est utilisé en développement/expérimentation et en production.

MLOps entièrement automatisé

Réglage des hyperparamètres — Suivi d'expériences

Image montrant le processus automatisé de réglage des hyperparamètres. En haut, le système automatisé de suivi d'expériences collecte des métadonnées comme les hyperparamètres utilisés durant le réglage. Ces métadonnées sont enregistrées dans l'entrepôt de métadonnées.

MLOps entièrement automatisé

Exemple — Visualisation des hyperparamètres

Exemple d'outil de visualisation pour le réglage des hyperparamètres.

MLOps entièrement automatisé

Passons à la pratique !

MLOps entièrement automatisé

Preparing Video For Download...