Surveiller les services de Machine Learning

Déploiement MLOps et cycle de vie

Nemanja Radojkovic

Senior Machine Learning Engineer

Maintenir la qualité

  • Des clients payants == attentes de qualité
  • L'assurance qualité commence par le contrôle de qualité
  • Surveillance
Déploiement MLOps et cycle de vie

Indicateurs de performance

Indicateurs de santé essentiels

  • Service opérationnel ?
  • Nombre de requêtes dans le temps ?
  • Répartition des latences ?

 

Indicateur ultime de qualité

  • Performance prédictive

How do ML models deteriorate?

Déploiement MLOps et cycle de vie

classificateur simple

Déploiement MLOps et cycle de vie

frontière apprise

Déploiement MLOps et cycle de vie

modèle entraîné

Déploiement MLOps et cycle de vie

le monde change

Déploiement MLOps et cycle de vie

changement 2

Déploiement MLOps et cycle de vie

frontière déplacée

Déploiement MLOps et cycle de vie

dérive de concept

Déploiement MLOps et cycle de vie

ne pas changer dégrade

Déploiement MLOps et cycle de vie

comment détecter

Déploiement MLOps et cycle de vie

Déploiement MLOps et cycle de vie

la contrainte

Déploiement MLOps et cycle de vie

selon le cas d'usage

Déploiement MLOps et cycle de vie

jamais gratuit

Déploiement MLOps et cycle de vie

exploiter ce qui existe

Déploiement MLOps et cycle de vie

évolution des caractéristiques d'entrée

Déploiement MLOps et cycle de vie

décalage des covariables

Déploiement MLOps et cycle de vie

limites de la surveillance des entrées

Déploiement MLOps et cycle de vie

surveillance des sorties

Déploiement MLOps et cycle de vie

Passons à la pratique !

Déploiement MLOps et cycle de vie

Preparing Video For Download...