Comment gérer le concept drift?

Principes de surveillance en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Détection du concept drift

  • Méthodes fondées sur l'erreur
    • suivi de l'erreur dans le temps
    • nécessite la vérité terrain

 

  • Entraîner un nouveau modèle avec des données d'entraînement et de production
    • un changement dans les prédictions = concept drift
    • coûteux dans des cas d'usage avancés
Principes de surveillance en Machine Learning

Réentraînement

L'image montre deux graphiques. Le premier illustre une baisse graduelle de la précision du modèle dans le temps. Le second montre une légère baisse suivie d'un réentraînement, ce qui fait remonter la précision, puis le cycle se répète.

Avantages :

  • garder le modèle à jour selon les tendances récentes

 

Inconvénients :

  • coûts accrus et risque d'échec
  • ne donne pas la cause première du problème
Principes de surveillance en Machine Learning

Apprentissage en ligne

L'image illustre le cycle de l'apprentissage en ligne : les données de l'appli sont envoyées à la base de données et servent immédiatement à mettre à jour le modèle, puis le modèle mis à jour est redéployé.

Avantages :

  • adaptation en temps réel aux changements

 

Inconvénients :

  • nécessite un accès constant à la vérité terrain
  • sensible au bruit
  • exige un réglage fin des paramètres
Principes de surveillance en Machine Learning

Autres solutions

 

  • Un modèle propre à l'événement pour des événements récurrents

 

  • Pondérer l'importance des nouvelles données
    • en privilégiant les données récentes, le modèle s'adapte plus facilement

 

L'image montre une ligne du temps : le modèle régulier est déployé le 23 novembre, puis le modèle du Vendredi fou le 24 novembre. Ensuite, le modèle régulier est redéployé.

Principes de surveillance en Machine Learning

Passons à la pratique !

Principes de surveillance en Machine Learning

Preparing Video For Download...