Comment détecter un décalage de covariables

Principes de surveillance en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Détection de dérive multivariée

  • Recherche des changements dans la distribution conjointe

 

 

  • Utilise l'algorithme ACP pour la compression des données

 

 

  • Utilise l'erreur de reconstruction comme mesure du dérive

L'image montre un flux de détection de dérive multivariée : les données multidimensionnelles sont compressées en espace latent, puis reconstruites.

Le graphique illustre les fluctuations temporelles de l'erreur de dérive de reconstruction.

Principes de surveillance en Machine Learning

Détection de dérive univariée

Types de variables :

  • Catégorielles : types de données regroupées, p. ex. état civil, tabagisme, niveau de scolarité

 

  • Continues : nombre infini de valeurs réelles dans un intervalle donné, p. ex. taille, poids, distance, temps
Principes de surveillance en Machine Learning

Méthodes continues – Jensen–Shannon

  • Mesure la similarité de deux distributions

  • Intervalle [0, 1]

  • Détecte des dérives faibles mais significatives

L'image montre un changement de distribution mesuré par la distance de Jensen–Shannon.

Principes de surveillance en Machine Learning

Méthodes continues – Wasserstein

  • Effort minimal pour transformer une distribution en une autre

  • Intervalle [0, +inf]

  • Sensible aux valeurs aberrantes

L'image montre un changement de distribution mesuré par la distance de Wasserstein.

Principes de surveillance en Machine Learning

Méthodes continues – Kolmogorov–Smirnov

  • Distance maximale entre fonctions de distribution cumulée

  • Intervalle [0, 1]

  • Sujet aux faux positifs

L'image montre un changement de distribution mesuré par la distance de Kolmogorov–Smirnov.

Principes de surveillance en Machine Learning

Méthodes continues – Hellinger

  • Chevauchement entre distributions
  • Intervalle [0, 1]
  • Ne distingue pas bien les forts décalages

 

Recommandation – méthodes continues

  • Jensen–Shannon et Wasserstein donnent généralement de bons résultats

L'image montre un changement de distribution mesuré par la distance de Hellinger.

Principes de surveillance en Machine Learning

Méthodes catégorielles – Khi carré

  • Sensible aux changements dans les catégories peu fréquentes

L'image montre une visualisation de la statistique du khi carré pour une variable catégorielle à deux catégories, a et b.

Principes de surveillance en Machine Learning

Méthodes catégorielles – L‑infini

  • Repère le décalage le plus significatif parmi toutes les catégories

L'image montre une visualisation de la méthode L‑infini pour une variable catégorielle à trois catégories, a, b et c.

Principes de surveillance en Machine Learning

Méthodes catégorielles – Jensen–Shannon et Hellinger

  • Jensen–Shannon ou L‑infini quand il y a beaucoup de catégories
  • Distance L‑infini pour détecter les changements par catégorie

L'image montre une visualisation des méthodes Jensen–Shannon et Hellinger pour une variable catégorielle à trois catégories, a, b et c.

Principes de surveillance en Machine Learning

Passons à la pratique !

Principes de surveillance en Machine Learning

Preparing Video For Download...