Entretien du modèle

Déploiement MLOps et cycle de vie

Nemanja Radojkovic

Senior Machine Learning Engineer

Précédemment…

  • Comment détecter anomalies et perturbations ?

 

Objectif de cette leçon : défaillance d'un modèle de ML

Déploiement MLOps et cycle de vie

modèle détérioré

Déploiement MLOps et cycle de vie

améliorer le modèle

Déploiement MLOps et cycle de vie

améliorer l'ensemble de données

Déploiement MLOps et cycle de vie

centré sur le modèle

Déploiement MLOps et cycle de vie

centré sur les données

1 https://datacentricai.org/
Déploiement MLOps et cycle de vie

La qualité avant la quantité

  • Ajouter des variables pertinentes
  • Obtenir de meilleures étiquettes

 

Étiquette == valeur de la variable cible dans l'ensemble d'entraînement

Qualité des étiquettes == proximité avec la vérité terrain

Déploiement MLOps et cycle de vie

étiquettes de piètre qualité

Déploiement MLOps et cycle de vie

prédiction de piètre qualité

Déploiement MLOps et cycle de vie

Atouts des outils d'annotation

L'annotation manuelle est complexe, longue et sujette aux erreurs

Utilisez de bons outils d'annotation !

  • Annotation plus efficace
  • Plus précise
  • Interface adaptée à l'usage
  • « Étiquetez d'abord ces exemples pour un impact maximal »
  • « Il semble qu'il y ait une erreur ici »

outil d'annotation

Exemple : outil d'annotation d'images pour créer des classificateurs d'images

Déploiement MLOps et cycle de vie

humain dans la boucle

Déploiement MLOps et cycle de vie

HIL 2

Déploiement MLOps et cycle de vie

avis d'expert

Déploiement MLOps et cycle de vie

Déploiement MLOps et cycle de vie

Quand les étiquettes arrivent

  • Exécuter la chaîne de construction ML ⇒ nouveau modèle
  • Vérifier si le nouveau modèle surpasse l'ancien
    • OUI ⇒ tester et déployer
    • NON ⇒ poursuivre la recherche
Déploiement MLOps et cycle de vie

Poursuivre la recherche

  • Essayer de nouveaux modèles
  • Essayer de nouvelles variables
  • Essayer de nouvelles sources de données

 

Extrêmement utile : magasin de métadonnées (MLflow Tracking, etc.)

  • Documenter le parcours de sélection du modèle
  • Éviter de répéter les mêmes expériences

 

Dans tous les cas : le MLOps aide à entretenir le modèle plus vite et plus efficacement

Déploiement MLOps et cycle de vie

Passons à la pratique !

Déploiement MLOps et cycle de vie

Preparing Video For Download...