Comment détecter un décalage de covariables

Concepts de monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Détection de dérive multivariée

Recherche des changements de distribution jointe

Utilise l’algorithme ACP pour la compression des données

Utilise l’erreur de reconstruction comme mesure de dérive

L’image montre un flux de détection de dérive multivariée : les données multidimensionnelles sont compressées dans l’espace latent puis décompressées avec une certaine reconstruction.

Le graphique illustre les fluctuations de l’erreur de dérive de reconstruction dans le temps.

Détection de dérive univariée

Types de variables :

Catégorielles : types de données divisés en groupes, p. ex. état civil, tabagisme, niveau d’études

Continues : nombre infini de valeurs réelles dans un intervalle, p. ex. taille, poids, distance, temps

Méthodes continues - Jensen-Shannon

Mesure la similarité de deux distributions
Plage [0, 1]
Détecte des dérives faibles mais pertinentes

L’image montre le changement de distribution mesuré par la distance de Jensen-Shannon.

Méthodes continues - Wasserstein

Effort minimal pour transformer une distribution en une autre
Plage [0, +inf]
Sensible aux valeurs aberrantes

L’image montre le changement de distribution mesuré par la distance de Wasserstein.

Méthodes continues - Kolmogorov-Smirnov

Distance maximale entre fonctions de répartition cumulées
Plage [0, 1]
Sujet aux faux positifs

L’image montre le changement de distribution mesuré par la distance de Kolmogorov-Smirnov.

Méthodes continues - Hellinger

Chevauchement entre distributions
Plage [0, 1]
Ne distingue pas bien les forts décalages

Méthodes continues - Recommandation

Jensen-Shannon et Wasserstein donnent généralement de bons résultats

L’image montre le changement de distribution mesuré par la distance de Hellinger.

Méthodes catégorielles - Khi deux

Sensible aux changements pour les catégories rares

L’image montre une visualisation de la statistique du khi deux pour une variable catégorielle avec deux catégories, a et b.

Méthodes catégorielles - L-infinity

Isole le décalage le plus important parmi toutes les catégories

L’image montre une visualisation de la méthode L-infinity pour une variable catégorielle avec trois catégories, a, b et c.

Méthodes catégorielles - Jensen-Shannon et Hellinger

Jensen-Shannon ou L-infinity avec de nombreuses catégories
Distance L-infinity pour détecter les changements par catégorie

L’image montre une visualisation des méthodes Jensen-Shannon et Hellinger pour une variable catégorielle avec trois catégories, a, b et c.

Passons à la pratique !

Concepts de monitoring en Machine Learning