Maintenance du modèle

Déploiement MLOps et cycle de vie

Nemanja Radojkovic

Senior Machine Learning Engineer

Précédemment…

  • Comment détecter anomalies et perturbations ?

 

Objectif de cette leçon : défaillance de modèle ML

Déploiement MLOps et cycle de vie

modèle détérioré

Déploiement MLOps et cycle de vie

améliorer le modèle

Déploiement MLOps et cycle de vie

améliorer le jeu de données

Déploiement MLOps et cycle de vie

axé modèle

Déploiement MLOps et cycle de vie

axé données

1 https://datacentricai.org/
Déploiement MLOps et cycle de vie

Qualité avant quantité

  • Ajouter des features plus pertinentes
  • Obtenir de meilleurs labels

 

Label == valeur de la variable cible dans l'ensemble d'entraînement

Qualité des labels == proximité des labels avec la vérité terrain

Déploiement MLOps et cycle de vie

labels de mauvaise qualité

Déploiement MLOps et cycle de vie

prédiction médiocre

Déploiement MLOps et cycle de vie

Atouts des outils de labeling

Le labeling manuel est complexe, long, source d'erreurs

Utilisez de bons outils de labeling !

  • Étiquetage plus efficace
  • Plus précis
  • Interface adaptée à l'usage
  • « Labellez d'abord ces exemples pour un maximum d'impact »
  • « Il semble y avoir une erreur ici »

outil de labeling

Exemple : outil d'annotation d'images, pour créer des classifieurs d'images

Déploiement MLOps et cycle de vie

human-in-the-loop

Déploiement MLOps et cycle de vie

HIL 2

Déploiement MLOps et cycle de vie

avis d'expert

Déploiement MLOps et cycle de vie

Déploiement MLOps et cycle de vie

Quand les labels arrivent

  • Exécuter le pipeline de build ML ⇒ Nouveau modèle
  • Vérifier si le nouveau modèle est meilleur que l'ancien
    • OUI ⇒ tester et déployer
    • NON ⇒ continuer à chercher,
Déploiement MLOps et cycle de vie

Continuer à chercher

  • Tester de nouveaux modèles
  • Tester de nouvelles features
  • Tester de nouvelles sources de données

 

Très utile : Metadata store (MLflow Tracking, etc.)

  • Documenter le parcours de sélection de modèle
  • Éviter de répéter les mêmes expériences

 

Dans tous les cas : le MLOps aide à maintenir le modèle plus vite et plus efficacement

Déploiement MLOps et cycle de vie

Passons à la pratique !

Déploiement MLOps et cycle de vie

Preparing Video For Download...