Suivi automatisé des expériences

MLOps entièrement automatisé

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

La nature expérimentale du Machine Learning

De nombreux « leviers » à tester :

  • Transformations des données
    • Caractéristiques utilisées
  • Algorithmes d'entraînement
    • Réglage des hyperparamètres
  • Mesures d'évaluation
    • Précision, rappel, etc.
MLOps entièrement automatisé

Un vaste espace de possibilités !

$$

Photo de plusieurs antennes pointant vers un ciel étoilé. L'image illustre un espace immense, difficile à explorer entièrement.

MLOps entièrement automatisé

Problèmes des workflows de Machine Learning manuels

Manque d'automatisation = problèmes dans les workflows ML manuels

  • Difficile de suivre expériences et résultats
  • Gaspillage de temps et de ressources
  • Reproduire/partager les résultats est ardu

Image d'un·e data scientist très frustré·e devant un ordinateur portable.

MLOps entièrement automatisé

Journalisation automatisée en ML

Éléments importants à journaliser :

  • Code
  • Environnement
  • Données
  • Paramètres
  • Métriques
MLOps entièrement automatisé

L'importance de la journalisation

La journalisation est essentielle pour :

  • La reproductibilité des expériences dans les systèmes de ML.
  • Suivre les performances et décider en connaissance de cause.
  • Repérer les problèmes à améliorer.

$$

La reproductibilité apporte de la transparence et est cruciale pour rendre nos systèmes dignes de confiance.

MLOps entièrement automatisé

Système automatisé de suivi des expériences

$$

Organisez les journaux par exécution ou par expérience pour :

  • Voir les métadonnées d'entraînement du modèle
  • Comparer les exécutions d'entraînement
  • Reproduire les exécutions d'entraînement

$$

Schéma d'architecture IT. Le système de suivi des expériences comporte deux composants : une interface tableau de bord et un accès programmatique. Le tableau de bord est accessible aux utilisateurs. L'accès programmatique est utilisé par d'autres composants. Le système de suivi écrit et lit vers un autre composant chargé de stocker les journaux.

MLOps entièrement automatisé

Suivi automatisé des expériences – Le marché aujourd'hui

Plusieurs outils automatisent le suivi des expériences :

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

Logo TensorFlow.

$$

Logo MLflow.

$$ Logo Weights & Biases.

Logo Neptune.AI.

MLOps entièrement automatisé

Passons à la pratique !

MLOps entièrement automatisé

Preparing Video For Download...