Défis du suivi des modèles ML

Concepts de monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Composants d’un projet de ML

Un diagramme de Venn à trois cercles représente l’ingénierie logicielle, l’analyse de données et l’apprentissage automatique ; leur intersection représente la science des données.

Le modèle ne produit pas de prédictions

Problèmes possibles :

Barrières de langage : assembler plusieurs langages avec du code « colle »

Maintenance du code : incompatibilités après mise à jour des dépendances

Passage à l’échelle : infrastructure peu robuste pour plus d’utilisateurs

Les prédictions du modèle échouent

Dérive de covariables

Changement de la distribution des entrées
Détectable par des méthodes statistiques
Toute dérive n’affecte pas la performance

Une courbe de densité comparant l’âge des clients dans les ensembles d’entraînement et de production montre que l’entraînement est très biaisé vers les âges faibles. La production a une forme similaire mais avec un pic aux âges élevés.

Dérive de concept

Changement de la relation entre entrées et cibles
Difficile à détecter
Affecte presque toujours l’impact business du modèle

La valeur vie client (CLV) est liée à l’âge (feature) dans l’entraînement et en production. La relation change en production, signe d’une dérive de concept.

Disponibilité du ground truth

Image d’un magasin de vêtements.

Passons à la pratique !

Concepts de monitoring en Machine Learning