Suivi automatisé des expériences

MLOps entièrement automatisé

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

La nature expérimentale du Machine learning

De nombreux « leviers » à tester :

  • Transformations des données
    • Caractéristiques utilisées
  • Algorithmes d'entraînement
    • Réglage des hyperparamètres
  • Mesures d'évaluation
    • Précision, rappel, etc.
MLOps entièrement automatisé

Un vaste espace de possibilités !

$$

Photo de plusieurs antennes pointant vers un ciel étoilé. L'image illustre un vaste espace, difficile à explorer entièrement.

MLOps entièrement automatisé

Problèmes des flux de travail ML manuels

Manque d'automatisation = problèmes dans les flux ML manuels

  • Expériences et résultats difficiles à suivre
  • Perte de temps et de ressources
  • Résultats difficiles à reproduire/partager

Image d'un·e scientifique des données très frustré·e devant un portable.

MLOps entièrement automatisé

Journalisation automatisée en ML

Éléments importants à consigner :

  • Code
  • Environnement
  • Données
  • Paramètres
  • Mesures
MLOps entièrement automatisé

L'importance de la journalisation

La journalisation est essentielle pour :

  • La reproductibilité des expériences dans les systèmes de ML.
  • Suivre le rendement et éclairer les décisions.
  • Repérer les problèmes potentiels à améliorer.

$$

La reproductibilité assure la transparence et est cruciale pour rendre nos systèmes dignes de confiance.

MLOps entièrement automatisé

Système automatisé de suivi des expériences

$$

Organisez les journaux par exécution ou par expérience pour :

  • Voir les métadonnées d'entraînement du modèle
  • Comparer des exécutions d'entraînement
  • Reproduire des exécutions d'entraînement

$$

Schéma d'architecture TI. Le système de suivi des expériences a deux composants : une interface tableau de bord pour les utilisatrices et utilisateurs, et une interface d'accès programmatique pour les autres composants. Le système de suivi écrit et lit dans un autre composant chargé d'entreposer les journaux.

MLOps entièrement automatisé

Suivi automatisé des expériences – marché actuel

Plusieurs outils pour automatiser le suivi des expériences :

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

Logo TensorFlow.

$$

Logo MLflow.

$$ Logo Weights & Biases.

Logo Neptune.AI.

MLOps entièrement automatisé

Passons à la pratique !

MLOps entièrement automatisé

Preparing Video For Download...