Qu’est-ce qu’un covariate shift ?

Concepts de monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Définitions

Variables de covariables = variables d’entrée
P(X) change
La probabilité conditionnelle P(Y|X) reste la même
Changements dans la distribution conjointe des covariables

Pourquoi la distribution conjointe ?

Un graphique illustre des corrélations positives et négatives entre la variable 1 et la variable 2. La corrélation positive apparaît à la semaine 10 (en bleu) et la négative à la semaine 16 (en rouge).

Pourquoi survient-il ?

Causes possibles du covariate shift :

Le monde réel n’est pas stationnaire : les schémas et tendances évoluent
Changement de sources : collecte différente entre test et production
Évolution du système et de l’environnement

Comment survient-il ?

Dynamiques des changements de distribution :

Soudains

Progressifs

Saisonniers

L’image montre un changement soudain de distribution : points bleus au début, puis bascule brusque vers des points rouges.

L’image illustre un changement progressif : points bleus au départ, transition graduelle vers des points rouges, puis retour au bleu. Au début, un seul point change, puis toute la distribution passe au rouge.

L’image illustre un changement saisonnier : points bleus, puis passage soudain au rouge, puis retour au bleu. Le cycle se répète, montrant la périodicité de la distribution.

Comment détecter le covariate shift ?

Méthode univariée

Une distribution des valeurs de production pour chaque mois de septembre à mars. Il y a sept distributions au total. De septembre à décembre, elles sont similaires avec de petites variations acceptables (en bleu). De janvier à mars, elles rétrécissent et la moyenne baisse (en rouge), car les changements sont plus marqués.

Méthode multivariée

Un flux de détection de dérive multivariée : les données multidimensionnelles sont compressées dans l’espace latent puis décompressées en forme initiale avec une certaine erreur.

¹ https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python

Passons à la pratique !

Concepts de monitoring en Machine Learning