Qu’est-ce que la dérive de concept ?

Concepts de monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Définition

Changement de la relation entre les variables d’entrée et la cible

$P(Y|X)$ change, $P(X)$ reste identique

L’image montre un changement de la relation entre le revenu et l’âge en production par rapport à l’entraînement.

Pourquoi la dérive survient-elle ?

Événements externes
- tendances virales, changements de politique
Saisonnalité non modélisée
- p. ex. en prévision de la demande : Black Friday, Noël
Changements du processus de génération des données
- nouvelle version de l’application de collecte
Comportement utilisateur évolutif
- habitudes, schémas, préférences changent en continu

Dynamiques de la dérive de concept

Dérive soudaine : nouveau concept en peu de temps

Dérive graduelle : le nouveau concept remplace peu à peu l’ancien

Récurrente : retour périodique d’un ancien concept

Image avec le texte Covid-19.

Image montrant des billets américains.

Image d’une affiche annonçant -50 % pendant le Black Friday.

Effets du décalage de covariables sur la dérive de concept

Négatif
- l’effet de la dérive de concept diminue

Positif
- l’effet de la dérive de concept s’intensifie

L’image illustre un décalage de covariables entre entraînement et production : la variable revenu passe de 80 k/an à 100 k/an. Le second graphe montre une dérive de concept : la relation entre revenu et défaut de prêt prédit change. La probabilité de défaut est plus élevée pour les revenus plus faibles.

L’image illustre un décalage de covariables entre entraînement et production : la variable revenu passe de 80 k/an à 60 k/an. Le second graphe montre une dérive de concept : la relation entre revenu et défaut de prêt prédit change. La probabilité de défaut est plus élevée pour les revenus plus faibles.

Passons à la pratique !

Concepts de monitoring en Machine Learning