Comment gérer la dérive de concept ?

Concepts de monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Détection de dérive de concept

Méthodes basées sur l’erreur
- suivre l’évolution de l’erreur dans le temps
- nécessite la vérité terrain

Réentraîner un modèle avec données d’entraînement et de production
- un changement des prédictions = dérive de concept
- coûteux dans des cas avancés

Réentraînement

L’image montre deux graphiques. Le premier illustre une baisse progressive de la précision du modèle dans le temps. Le second montre une légère baisse, puis un réentraînement qui augmente la précision, répété à intervalles.

Avantages :

maintenir le modèle à jour avec les schémas récents

Inconvénients :

coûts accrus et risque d’échec
ne fournit pas la cause racine

Apprentissage en ligne

L’image illustre le cycle de l’apprentissage en ligne : les données de l’application vont vers la base de données et servent immédiatement à mettre à jour le modèle, qui est redéployé.

Avantages :

adaptation en temps réel aux changements

Inconvénients :

exige un accès constant à la vérité terrain
sensible au bruit
nécessite un réglage fin des paramètres

Autres solutions

Un modèle spécifique à un événement récurrent

Pondérer l’importance des nouvelles données
- avec plus de poids sur les données récentes, le modèle s’adapte mieux

L’image montre une chronologie : le modèle standard est déployé le 23 novembre, puis le modèle Black Friday le 24 novembre. Ensuite, le modèle standard est redéployé.

Passons à la pratique !

Concepts de monitoring en Machine Learning