Le magasin de métadonnées

MLOps entièrement automatisé

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Qu'est-ce que les métadonnées en MLOps ?

  • Les métadonnées sont des renseignements sur les artéfacts
    • créés lors de l'exécution des différents composants d'un pipeline de ML

Un pipeline de Machine Learning est présenté. Le pipeline comprend : extraction des données, validation des données, entraînement du modèle, évaluation du modèle et validation du modèle.

Exemples de métadonnées :

  • Gestion des versions des données : on conserve différentes versions d'un même ensemble
  • Métadonnées sur les artéfacts d'entraînement, comme les hyperparamètres
  • Journaux d'exécution du pipeline
1 https://datacentricai.org/
MLOps entièrement automatisé

Aspects clés des métadonnées en ML

$$

  • Traçabilité des données

  • Reproductibilité

  • Surveillance

  • Conformité réglementaire

MLOps entièrement automatisé

Importance des métadonnées – Traçabilité des données

  • Les métadonnées de traçabilité des données consignent l'information :

    • depuis leur création
    • jusqu'à leurs points de consommation

Une illustration du concept de traçabilité des données. Elle montre comment les données peuvent être transformées par plusieurs processus entre leur origine et leur utilisation.

MLOps entièrement automatisé

Importance des métadonnées – Reproductibilité

  • Les métadonnées de nos expériences de Machine Learning :
    • permettent à d'autres de reproduire nos résultats
    • augmentent la confiance envers nos systèmes de ML
    • introduisent de la rigueur scientifique dans notre démarche ML

Une figure illustrant la reproductibilité : une série de scientifiques se regardent travailler à travers un télescope pour reproduire le travail des autres.

MLOps entièrement automatisé

Importance des métadonnées – Surveillance

  • Elles permettent aux ingénieur·e·s en Machine Learning de
    • suivre l'exécution des différentes parties du pipeline MLOps
    • vérifier l'état du système de ML en tout temps
MLOps entièrement automatisé

Exemple d'outil de surveillance

Exemple de tableau de bord de surveillance affichant diverses mesures associées à un système MLOps en cours d'exécution.

1 https://cloud.google.com/stackdriver/docs/solutions/gke/observing
MLOps entièrement automatisé

Le magasin de métadonnées

  • Endroit centralisé pour gérer toutes les métadonnées MLOps concernant :

    • les expériences (journaux)
    • les artéfacts
    • les modèles
    • les pipelines

  • Il offre une interface utilisateur permettant de :

    • lire et écrire toutes les métadonnées liées aux modèles

Une illustration du magasin de métadonnées. Elle montre un dépôt centralisé où plusieurs acteurs et processus accèdent aux métadonnées.

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
MLOps entièrement automatisé

Le magasin de métadonnées dans une architecture MLOps

Schéma d'une architecture MLOps entièrement automatisée, montrant le rôle central du magasin de métadonnées dans le processus MLOps.

MLOps entièrement automatisé

Magasin de métadonnées en MLOps entièrement automatisé

Il permet la surveillance automatique du fonctionnement du pipeline MLOps entièrement automatisé

  • En facilitant la réponse automatique aux incidents. Par exemple :

    • Réentraînement automatique des modèles
    • Rétrogradations automatiques (rollbacks)

Un graphique représentant le réentraînement de modèles déclenché par la dérive dans le système de ML. L'axe des x est le temps et l'axe des y la performance. Trois courbes présentent une décroissance due à la dérive. Le point de dérive est encerclé et indiqué comme dérive détectée; un nouveau modèle démarre alors avec une nouvelle courbe de performance.

MLOps entièrement automatisé

Passons à la pratique !

MLOps entièrement automatisé

Preparing Video For Download...