Surveiller directement la performance technique

Principes de surveillance en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Lien entre décalage de covariables et performance

Trois décalages de covariables :

  • Décalages vers des régions sûres

    • plus de personnes à revenu élevé qui demandent un prêt

  • Décalages vers des régions sous-représentées

    • 10 % de personnes du secteur techno qui demandent un prêt au lieu de 0,5 % dans les données d'entraînement

  • Décalages vers des régions incertaines

    • passage de 20 % à 40 % de personnes à revenu moyen près de la frontière de décision

 

-> Aucun impact

 

-> Impact inconnu

 

-> Impact négatif

Principes de surveillance en Machine Learning

Impact négatif garanti

 
 
 
 

Un décalage vers des régions incertaines nuit toujours à la performance

La visualisation de la période d'entraînement met en évidence la zone où le modèle est le moins certain. En production, plus de personnes se trouvent dans cette zone qu'auparavant.

Principes de surveillance en Machine Learning

Problème de fausses alertes

L'image montre des points représentant des alertes, et comment les points importants se perdent quand il y en a trop.

Principes de surveillance en Machine Learning

L'importance de la performance technique

  • Mesure directe de la capacité du modèle à accomplir la tâche

 

  • Révèle toute défaillance silencieuse du modèle

 

  • Réduit la surcharge de fausses alertes

Les images montrent une partie du schéma de surveillance : « Suivi de la performance » dans la première boîte; dessous, relié en pointillé, une boîte pointillée demandant si le modèle performe encore; à droite, un losange « dégradation de la performance », puis une flèche vers la droite avec « oui » au‑dessus, et une flèche qui boucle vers la boîte « Suivi de la performance » avec « non » au‑dessus.

Principes de surveillance en Machine Learning

Passons à la pratique !

Principes de surveillance en Machine Learning

Preparing Video For Download...