Surveillance et alertes

Déploiement MLOps et cycle de vie

Nemanja Radojkovic

Senior Machine Learning Engineer

monde extérieur

Déploiement MLOps et cycle de vie

bogues dans le service

Déploiement MLOps et cycle de vie

repérer les bogues

Déploiement MLOps et cycle de vie

beaucoup d'éléments mobiles

Déploiement MLOps et cycle de vie

points de défaillance 2

Déploiement MLOps et cycle de vie

alerte

Déploiement MLOps et cycle de vie

regardez ici

Déploiement MLOps et cycle de vie

journalisation 1

Déploiement MLOps et cycle de vie

journalisation 2

Déploiement MLOps et cycle de vie

journalisation 3

Déploiement MLOps et cycle de vie

pipeline de données 1

Déploiement MLOps et cycle de vie

validation des données 2

Déploiement MLOps et cycle de vie

profils de données — validation

Déploiement MLOps et cycle de vie

Validation statistique

Peut être :

  • trop sensible
  • pas assez informatif

 

Risque

  • Trop d'alertes
  • « Fatigue des alertes »
  • Alertes importantes ignorées
Déploiement MLOps et cycle de vie

informer tout le monde

Déploiement MLOps et cycle de vie

Apprenez de l'historique

Après avoir traité l'incident ⇒ consigner la cause racine et les étapes de résolution

Exemple de Google[1] :

  • 10 ans d'incidents consignés et analysés
  • > 2/3 n'étaient pas liés au Machine Learning !
1 How ML Breaks: A Decade of Outages for One Large ML Pipeline, https://www.usenix.org/conference/opml20/presentation/papasian
Déploiement MLOps et cycle de vie

surveillance centralisée

Déploiement MLOps et cycle de vie

Passons à la pratique !

Déploiement MLOps et cycle de vie

Preparing Video For Download...