So erkennst du Covariate Shift

Überwachung von Machine-Learning-Konzepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Multivariate Drifterkennung

  • Sucht nach Änderungen in der gemeinsamen Verteilung

 

 

  • Nutzt PCA zur Datenkompression

 

 

  • Nutzt den Rekonstruktionsfehler als Driftmaß

Das Bild zeigt einen Workflow zur multivariaten Drifterkennung: Die mehrdimensionalen Daten werden in den latenten Raum komprimiert und anschließend mit einem gewissen Rekonstruktionsfehler zurück transformiert.

Das Diagramm zeigt die Schwankungen des Rekonstruktions-Driftfehlers über die Zeit.

Überwachung von Machine-Learning-Konzepten

Univariate Drifterkennung

Variablentypen:

  • Kategorial – Datentypen, die in Gruppen fallen, z. B. Familienstand, Rauchstatus, Bildungsniveau

 

  • Kontinuierlich – unendlich viele reelle Werte in einem Intervall, z. B. Größe, Gewicht, Distanz, Zeit
Überwachung von Machine-Learning-Konzepten

Kontinuierliche Methoden – Jensen–Shannon

  • Misst die Ähnlichkeit zweier Verteilungen

  • Bereich [0, 1]

  • Erkennt sinnvolle Drifts mit kleiner Amplitude

Das Bild zeigt eine Veränderung der Verteilung, gemessen mit der Jensen–Shannon-Distanz.

Überwachung von Machine-Learning-Konzepten

Kontinuierliche Methoden – Wasserstein

  • Minimaler Aufwand, um eine Verteilung in eine andere zu transformieren

  • Bereich [0, +inf]

  • Sensitiv für Ausreißer

Das Bild zeigt eine Veränderung der Verteilung, gemessen mit der Wasserstein-Distanz.

Überwachung von Machine-Learning-Konzepten

Kontinuierliche Methoden – Kolmogorov–Smirnov

  • Maximaler Abstand der kumulierten Verteilungen

  • Bereich [0, 1]

  • Anfällig für False Positives

Das Bild zeigt eine Veränderung der Verteilung, gemessen mit der Kolmogorov-Smirnov-Distanz.

Überwachung von Machine-Learning-Konzepten

Kontinuierliche Methoden – Hellinger

  • Überlappung zwischen Verteilungen
  • Bereich [0, 1]
  • Unterscheidet starke Shifts kaum

 

Kontinuierliche Methoden – Empfehlung

  • Jensen–Shannon und Wasserstein schneiden meist gut ab

Das Bild zeigt eine Veränderung der Verteilung, gemessen mit der Hellinger-Distanz.

Überwachung von Machine-Learning-Konzepten

Kategoriale Methoden – Chi-Quadrat

  • Sensitiv für Änderungen bei seltenen Kategorien

Das Bild zeigt eine Visualisierung der Chi-Quadrat-Statistik für eine kategoriale Variable mit zwei Kategorien, a und b.

Überwachung von Machine-Learning-Konzepten

Kategoriale Methoden – L-Infinity

  • Identifiziert die stärkste Verschiebung über alle Kategorien

Das Bild zeigt eine Visualisierung der L-Infinity-Methode für eine kategoriale Variable mit drei Kategorien, a, b und c.

Überwachung von Machine-Learning-Konzepten

Kategoriale Methoden – Jensen–Shannon und Hellinger

  • Jensen–Shannon oder L-Infinity bei vielen Kategorien
  • L-Infinity-Distanz für Änderungen einzelner Kategorien

Das Bild zeigt eine Visualisierung der Jensen–Shannon- und Hellinger-Methoden für eine kategoriale Variable mit drei Kategorien, a, b und c.

Überwachung von Machine-Learning-Konzepten

Lass uns üben!

Überwachung von Machine-Learning-Konzepten

Preparing Video For Download...