Surveiller la performance technique directement

Concepts de monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Lien décalage de covariables - performance

Trois types de décalage de covariables :

Décalages vers des régions certaines
- plus de personnes à hauts revenus demandant un prêt
Décalages vers des régions sous-représentées
- 10 % de personnes du secteur tech demandent un prêt au lieu de 0,5 % dans les données d’entraînement
Décalages vers des régions incertaines
- passage de 20 % à 40 % de revenus moyens proches de la frontière de décision

-> Aucun impact

-> Impact inconnu

-> Impact négatif

Impact négatif garanti

Un décalage vers des régions incertaines nuit toujours à la performance

La visualisation de la période d'entraînement met en évidence la zone où le modèle est le moins sûr. En production, plus de personnes se situent dans cette zone qu’auparavant.

Problème de fausses alertes

L’image montre des points représentant des alertes et comment les points importants se perdent quand il y en a trop.

L'importance de la performance technique

Mesure directe de la qualité du modèle sur la tâche

Révèle toute défaillance silencieuse

Réduit la surcharge de fausses alertes

Le schéma de monitoring montre : « Suivi de la performance » dans une première boîte; en dessous, une boîte en pointillés « le modèle performe-t-il encore ? »; à droite, un losange « dégradation de performance »; flèche à droite avec « oui »; boucle de retour avec « non ».

Passons à la pratique !

Concepts de monitoring en Machine Learning